تشخیص مدیای تکراری در توییتر

توضیح پروژه: برای هر یوزر آیدی انتخابی، مدیا های توییت شده در یک سال گذشته باید استخراج شده و گزارشی از تعداد کل و درصد مدیاهای تکراری در دیتابیس ذخیره شود. توجه داشته باشید که دسترسی به api key وجود ندارد، بنابراین باید از روش های دیگر برای استخراج اطلاعات استفاده کنید. تکنولوژی انتخابی: - زبان python (یا kotlin) - دیتابیس mongo جزییات نیازمندی ها: 1- مدیا شامل تصویر و ویدیو می باشد. انواع دیگر مدیا در صورت وجود اسکیپ شوند. 2- معیار برای تکراری بودن مدیا محتوا هست. در نتیجه اگر دو عکس یکسان باشند ولی یکی نسخه ریسایز شده دیگری باشد، فرمت فایل، فشرده سازی و یا متا دیتای متفاوتی داشته باشد، آن دو مدیا همچنان تکراری به حساب می آیند. 3- مدیاهای هر یوزر در یک فولدر جداگانه لوکال ذخیره شود. این کار تحلیل و مقایسه را نیز آسان میکند. نام ذخیره سازی فایل لوکال برای هر مدیا ترکیبی از تایم استمپ پست مربوطه و آیدی پست خواهد بود (timestamp_postId.jpeg). اگر مدیا تکراری هست، کلمه duplicate_ به انتهای نام فایل اضافه شود. 4- در دیتابیس مانگو و در entry مختص هر یوزر رفرنسی به مدیاهای تکراری به صورت یک sub-node ذخیره شود. این sub-node در کنار سایر داده ها مثل یوزر آیدی، تعداد مدیا و نرخ مدیای تکراری قرار میگیرد. 5- فقط نیاز به تحلیل توییت های اصلی وجود دارد. در نتیجه اگر توییت در reply به توییت دیگری هست، و یا اینکه توییت از نوع ریتوییت هست، آن را کلا اسکیپ کنید. 6- منظور از یوزر آیدی مشخصه عددی هر یوز است. مثلا یوز آیدی ایلان ماسک ******* می باشد. 7- از آنجا که ممکن است سرورهای توییتر اکانت مورد استفاده در اسکریپت را بلوکه کنند، لازم است که بین درخواست های ارسالی به سرور وقفه های لازم وجود داشته باشد، در حدی که نه اسکریپت به صورت غیر ضروری کند باشد و نه از طرف توییتر بلوکه شود. 8- پروژه باید requirements.txt داشته باشد و به سادگی در محیط لوکال قابل اجرا باشد. پشتیبانی فنی: - فریلنسر باید پشتیبانی فنی پروژه را به مدت یک ماه پس از تحویل پروژه ارائه دهد. (در صورت نیاز) - این شامل رفع باگ‌ها و مشکلات احتمالی در اجرا یا تنظیمات اولیه است. نکات دیگر: - کد باید ماژولار و خوانا باشد تا قابلیت توسعه بیشتر توسط دیگران را داشته باشد. - کد باید به صورت بهینه نوشته شود (مثلا از برنامه نویسی async استفاده کند و …) ****** در صورت رضایت از نحوه انجام پروژه، امکان همکاری برای پروژه های بزرگتر و یا حتی همکاری تمام وقت نیز وجود دارد.