وب‌اسکریپینگ و مانیتورینگ Web-Scraper+Telegram Bot+Web App

قصد دارم یک سیستم برای مانیتورینگ سایت‌های مرجع در حوزه سرمایه‌گذاری راه‌اندازی کنم. این پروژه شامل اسکرپینگ دقیق داده‌ها، پردازش هوشمند، اطلاع‌رسانی در تلگرام و نمایش در وب‌اپلیکیشن است. پایداری سیستم در مقابل سیستم‌های ضد‌ربات و سرعت پاسخگویی بالا اولویت اصلی ماست. نیازمندی‌های فنی و ساختار پروژه: 1. بخش اسکرپینگ و مانیتورینگ (Core): -استفاده از Playwright یا Selenium (Headless) جهت دور زدن سیستم‌های ضد‌ربات (مانند Cloudflare) و رندر کردن صفحات داینامیک. -طراحی ماژولار اسکرپر جهت پایش لحظه‌ای (Real-time Monitoring) وضعیت پروژه‌ها (Paying, Scam, Waiting). -سیستم مدیریت لینک: استخراج لینک‌های مقصد و جایگزینی خودکار با پارامترهای Referral اختصاصی با استفاده از Regex. -بومی‌سازی محتوا: ترجمه خودکار توضیحات و پلن‌ها به فارسی (با قابلیت ویرایش دستی در صورت نیاز). 2. بخش اطلاع‌رسانی (Telegram Bot): -ارسال آنی پست‌ها به کانال تلگرام با فرمت HTML/Markdown و دکمه‌های این‌لاین. -قابلیت Edit خودکار: به محض تغییر وضعیت یک پروژه در سایت مرجع، ربات باید پست مربوطه را در کانال ویرایش کرده و وضعیت جدید (مثلاً SCAM) را اطلاع‌رسانی کند. -استفاده از کتابخانه‌های Async نظیر Pyrogram یا Telethon. 3. بخش نمایش وب (Web App): -توسعه بک‌اند با FastAPI جهت حداکثر سرعت و کارایی. -توسعه فرانت‌بند با Streamlit یا React/Next.js (بسته به پیشنهاد فریلنسر) جهت نمایش داشبورد عمومی پروژه‌ها. -قابلیت جستجوی پیشرفته 4. مدیریت داده و زیرساخت (Infrastructure): -دیتابیس: PostgreSQL برای ذخیره‌سازی پایدار داده‌ها. -سیستم کشینگ: استفاده از Redis جهت افزایش سرعت لود وب‌اپلیکیشن و مدیریت صف پردازش‌ها. -استقرار (Deployment): پیاده‌سازی در محیط Docker و استفاده از Docker Compose جهت مدیریت آسان کانتینرها روی VPS. موارد تحویلی: -سورس کد کامل، تمیز و کامنت‌گذاری شده در Git. -فایل‌های پیکربندی Docker و محیط `.env`. -داکیومنت کامل برای نحوه اضافه کردن سایت‌های مرجع جدید به اسکرپر. لیست جامع مهارت‌های مورد نیاز (تگ‌ها): بخش اصلی و برنامه‌نویسی: 1. Python (زبان پایه) 2. Asynchronous Programming (برنامه‌نویسی غیرهمزمان برای سرعت حداکثری) 3. Asyncio (کتابخانه استاندارد مدیریت تسک‌های همزمان) 4. Object-Oriented Programming (OOP) (برای نوشتن کد تمیز و ماژولار) بخش اسکرپینگ و دور زدن محدودیت‌ها: 5. Web Scraping (استخراج داده‌های ساختاریافته) 6. Playwright / Selenium (رندر کردن صفحات سنگین و JS) 7. Cloudflare Bypass (عبور از سد امنیتی کلودفلر) 8. Proxy Management (مدیریت پروکسی برای جلوگیری از بلاک شدن IP سرور) 9. Selectolax / BeautifulSoup (پارس کردن سریع دیتای HTML) بخش وب و API: 10. FastAPI (فریم‌ورک بک‌بُن وب‌اپلیکیشن) 11. Streamlit / Flask (رابط کاربری داشبورد) 12. RESTful API (طراحی ساختار تبادل داده) 13. Pydantic (برای اعتبارسنجی داده‌های ورودی و خروجی) بخش تلگرام و اطلاع‌رسانی: 14. Pyrogram / Telethon (کتابخانه‌های پیشرفته تلگرام) 15. Telegram Bot API (تسلط به قابلیت‌های دکمه‌های شیشه‌ای و ویرایش پست) بخش هوش مصنوعی و پردازش متن: 16. Natural Language Processing (NLP) (برای درک بهتر متون استخراج شده) 17. Google Translate API / DeepL (پیاده‌سازی ترجمه خودکار هوشمند) 18. Regular Expressions (Regex) (پارس کردن و استخراج کدهای تخفیف و لینک‌های رفِرال) *بخش دیتابیس و مدیریت حافظه: 19. PostgreSQL (ذخیره‌سازی دیتای پروژه‌ها) 20. Redis (مدیریت صف (Queue) و کشینگ اطلاعات وب‌اپ) 21. SQLAlchemy / Tortoise-ORM (برای تعامل حرفه‌ای با دیتابیس) بخش زیرساخت و DevOps : 22. Docker & Docker Compose (ایزوله‌سازی و جابجایی راحت پروژه) 23. Linux Administration (Ubuntu) (مدیریت و VPS) 24. Git / GitHub (مدیریت نسخه‌های کد) 25. Logging & Monitoring (سیستم ثبت خطا برای اینکه بفهمی چرا اسکرپر از کار افتاده) نحوه پاسخگویی به این آگهی: فریلنسرهای محترم، لطفاً در هنگام پاسخگویی «فقط و فقط» این موارد را ذکر کنید و احتراماً از تکرار جملاتی که در آگهی نوشته شده پرهیز کنین: «مبلغ»، «زمان اجرا» و «سوابق»‌ که در رابطه با این پروژه داشته اید. با سپاس فراوان.