طراحی سایت برای توسعه کرالر واسکریپر

ما قصد داریم یک سیستم جمع‌آوری داده (کرالر و اسکریپر) توسعه دهیم که حدود 20 شاخص آنلاین را برای حدود 1000 مؤسسه خیریه و مردم‌نهاد از منابع مختلف اینترنتی استخراج کند. این شاخص‌ها از منابع زیر باید جمع‌آوری شوند: منابع داده مورد نظر: * سایت رسمی مؤسسات * فضای مجازی و رسانه‌ها * سایت ثبت شرکت‌های غیرتجاری * سایت کدال من * روزنامه رسمی جمهوری اسلامی ایران خروجی مورد انتظار: * امکان اجرای مجدد اسکریپت برای پایش دوره‌ای * ترجیحاً نوشته‌شده با Python (ترجیح با استفاده از ابزارهایی مثل BeautifulSoup، Selenium، Scrapy یا APIهای رسمی) * اسکریپت مستندسازی‌شده و قابل توسعه نکات تکمیلی: * لیست کامل مؤسسات همراه با اطلاعات اولیه (مثل نام، شناسه ملی، آدرس احتمالی سایت) در اختیار برنامه‌نویس قرار خواهد گرفت. * در صورتی که برخی سایت‌ها ضدربات باشند، استفاده از روش‌های دور زدن مانند Captcha Solver، زمان‌بندی، یا Headless Browsing ضروری است. * پروژه شامل مراحل تست، بازبینی و تحویل کد قابل اجرا خواهد بود. زمان مورد انتظار: * 2 تا 3 هفته برای نسخه اولیه (قابل مذاکره) در اولویت هست: * تجربه قبلی در پروژه‌های مشابه جمع‌آوری داده * نمونه‌کار یا پروژه مرتبط قبلی * دقت در شناسایی دقیق داده‌ها از منابع ناهمگن