کرالر و مرجر داده‌های گوگل مپ و تریپ‌ادوایزرPython/Node.js

به دنبال برنامه‌نویس با تجربه در Python یا Node.js هستیم تا یک کرالر حرفه‌ای و ماژول مرجر برای جمع‌آوری و یکپارچه‌سازی داده‌های مکان‌های گردشگری و غذایی (رستوران، کافه و …) از Google Maps و TripAdvisor در شهرهای ایران و کشورهای اطراف توسعه دهد. ویژگی‌های پروژه: جمع‌آوری اطلاعات پایه مکان‌ها: نام، آدرس، شماره تماس، وبسایت، شبکه‌های اجتماعی، ساعات کاری، تصاویر جمع‌آوری ریویوها با حداقل تعداد مشخص (مثلاً فقط مکان‌هایی با ≥25 ریویو) امکان تنظیم حداقل/حداکثر تعداد ریویو برای هر مکان و مرتب‌سازی بر اساس جدیدترین‌ها خروجی استاندارد CSV/JSON و اتصال مستقیم به دیتابیس MySQL ماژول مرجر برای یکپارچه‌سازی داده‌ها خروجی آماده برای پردازش‌های بعدی و سیستم‌های مدیریت داده rate-limiting و random delay برای جلوگیری از بن شدن resume / incremental crawling برای بروزرسانی دوره‌ای داده‌ها پشتیبانی از چند شهر هم‌زمان پشتیبانی از proxy و headless mode (Selenium / Puppeteer) ساختار ماژولار برای افزودن منابع جدید (مثل Yelp در آینده) خروجی نمونه: اطلاعات پایه: id, title, address, latitude, longitude, phone, website, social_instagram, category, tags ریویوها: source, date, content, rating, items تصاویر: حداقل 4 تصویر فرمت خروجی مورد انتظار سه فایل خروجی مجزا: businesses.csv – اطلاعات پایه رستوران‌ها reviews.csv – نظرات کاربران report.log – گزارش کرال (تعداد موفق/ناموفق، ارورها، زمان اجرا) همه‌ی داده‌ها باید مستقیم به دیتابیس MySQL وارد شوند. مهارت‌های مورد نیاز: Python یا Node.js Web Scraping / Anti-ban handling مدیریت خطا و ریت لیمیت مدیریت داده و ذخیره‌سازی CSV/JSON تجربه کار با دیتابیس MySQL