توسعه Crawler جهت استخراج اطلاعات

هدف این پروژه توسعه یک نرم افزار (وب بیس) Web Scraping برای جمع‌آوری اطلاعات مراکز غذایی (مانند رستوران‌ها، هتل‌ها و ...) در کشور آلمان از Google Maps، Yelp و Lieferando است. لطفا توجه کنید که این پروژه تمام‌وقت است و رد و بدل کردن شماره تماس مشکلی ندارد لطفا شماره موبایل خود را بگذارید. ویژگی‌های مورد انتظار: امکان انتخاب محدوده جغرافیایی بر روی نقشه و جمع‌آوری داده‌های همان محدوده (از طریق درگ کردن یا تعیین شعاع اطراف نقطه: مثلا 100 کیلومتر) استفاده از APIها (در صورت امکان) برای جمع‌آوری داده‌ها از وب‌سایت‌هایی که API ارائه می‌دهند توسعه یک سیستم Web Scraper برای وب‌سایت‌هایی که API ندارند پردازش و ذخیره‌سازی داده‌ها در یک پایگاه داده مناسب طراحی یک رابط کاربری ساده و کارآمد برای استفاده راحت از ابزار و امکان خروجی CSV یا Json مدیریت درخواست‌ها به گونه‌ای که از بلاک شدن توسط سایت‌های هدف جلوگیری شود نکات فنی: استفاده از Google Places API (در صورت امکان) پیاده‌سازی Web Scraping با Scrapy، BeautifulSoup یا Selenium طراحی رابط کاربری با Leaflet.js یا OpenLayers برای انتخاب محدوده جغرافیایی پردازش و مدیریت داده‌ها با Python و پایگاه داده مناسب (مانند PostgreSQL یا MongoDB) مهارت‌های مورد نیاز: Python (ترجیحاً با کتابخانه‌های Scrapy, BeautifulSoup, Selenium) کار با API‌های RESTful (در صورت وجود API برای برخی وبسایت‌ها) دیتابیس‌ها (MySQL، PostgreSQL یا MongoDB) مدیریت پروکسی و جلوگیری از بلاک شدن آشنایی با سرور و دپلوی اسکریپت‌ها (Docker یک مزیت محسوب می‌شود)