طراحی یک Web Scraper با پایتون

هدف این پروژه، توسعه یک اسکریپت/کد برای استخراج اطلاعات محصولات از صفحه برند (Brand Page) در وب‌سایت‌هایی است که لینک آن‌ها توسط کارفرما ارائه می‌شود. با توجه به اینکه این وب‌سایت‌ها API در اختیار قرار نمی‌دهند، استخراج داده باید صرفاً از طریق خواندن محتوای صفحات وب (Web Scraping) و با استفاده از لینک‌ها انجام شود. کد باید بتواند از صفحات برند (و در صورت نیاز صفحات دسته‌بندی/لیست محصولات مرتبط با برند) اطلاعات زیر را برای هر محصول استخراج کند: نام محصول قیمت فعلی (قیمت با تخفیف/قیمت نهایی پرداختی) درصد تخفیف (در صورتی که وجود داشته باشد) قیمت اولیه/قیمت قبل از تخفیف (در صورتی که وجود داشته باشد) ورودی‌ها فهرستی از لینک‌های صفحات برند (Brand URLs) که توسط کارفرما ارائه می‌شود. در صورت وجود فیلترها یا پارامترهای خاص (مثل مرتب‌سازی، نمایش تعداد بیشتر محصول، …) باید امکان اعمال آن‌ها در استخراج لحاظ شود. خروجی خروجی نهایی باید در قالب فایل اکسل (Excel) تحویل شود. هر ردیف نماینده یک محصول باشد و ستون‌ها حداقل شامل موارد زیر باشند: نام محصول قیمت فعلی درصد تخفیف قیمت اولیه لینک صفحه محصول (پیشنهادی برای رهگیری) نام برند / منبع (پیشنهادی وقتی چند سایت یا چند برند داریم) تاریخ و زمان استخراج (پیشنهادی برای کنترل به‌روز بودن داده) الزامات و ملاحظات اجرایی کد باید توانایی مدیریت صفحه‌بندی (Pagination) یا اسکرول بی‌نهایت (Infinite Scroll) را داشته باشد تا همه محصولات آن برند استخراج شوند. در برخی سایت‌ها اطلاعات قیمت و تخفیف با جاوااسکریپت بارگذاری می‌شود؛ بنابراین کد باید بتواند در صورت نیاز صفحه را رندر کرده و سپس داده را استخراج کند. کد باید در مواجهه با شرایط زیر پایدار باشد: نبودن تخفیف برای برخی محصولات (درصد تخفیف و قیمت اولیه خالی/Null ثبت شود) تغییرات جزئی ساختار HTML محدودیت سرعت درخواست‌ها (Rate Limit) یا خطاهای موقت شبکه ترجیحاً امکان تنظیم موارد زیر وجود داشته باشد: تعداد صفحات/محصولات برای تست تاخیر بین درخواست‌ها مسیر ذخیره فایل خروجی معیار پذیرش (Acceptance Criteria) با دریافت لینک صفحه برند، کد باید بتواند اطلاعات محصولات همان برند را استخراج کند. فایل اکسل خروجی بدون بهم‌ریختگی و با ستون‌های مشخص تحویل شود. داده‌ها (قیمت فعلی، قیمت اولیه، درصد تخفیف) با دقت قابل قبول و مطابق نمایش سایت استخراج شوند.