وب اسکرپینگ محصولات سایت

ما از سایت میخوایم محصولاتش رو اسکرپ کنیم و برای درج محصول در سایت فروشگاهی استفاده کنیم . توجه: استک مورد استفاده برای ساید اسکرپر playwright و javascript و برای ساید بک‌اند php و Laravel است و این مورد قابل مذاکره نیست هدف: اسکرپ محصولات کتگوری های مشخصی از سایت temu.com پروژه شامل یک ساید بک‌اند/دیتابیس و یک ساید اسکرپر می‌باشد شرح پیاده سازی: لینک کتگوری‌های موردنظر برای اسکرپ، با فراخوانی api برای برنامه مشخص میشود، این کتگوری‌ها در طول زمان زیاد و کم میشود و باید داینامیک باشد. اسکرپر محصولات موجود در این دسته بندی ها را اسکرپ کرده و اطلاعات آنها شامل توضیحات، عکس و سایر موارد درخواستی را ذخیره می‌کند. توضیحات و برخی موارد دیگر از طریق ai ترجمه شده و دیتا نهایی ذخیره شده و سپس به api خارجی ارسال می‌شود. نکات: • بروزرسانی محصولات برای هر کتگوری در بازه های زمانی مشخصی که قابل تعیین است انجام میشود. مثلا محصولات دسته x هر 6 ساعت و محصولات دسته y هر یک ساعت آپدیت شود. • در هر دسته تعداد مشخصی محصول اسکرپ میشود و این تعداد باید قابل تعیین باشد • برای آپدیت محصول تکی و محصولات دسته بندی، api نوشته شود که بتوان خارج از زمانبندی نیز آپدیت انجام داد نکته بسیار مهم: سایت تمو از کپچا خاصی استفاده میکند، اولا اسکرپر باید با rate مناسبی اسکرپ کند تا به کپچا برخورد نکند و مشکوک نباشد. دوما اگر به کپچا برخورد کرد، باید بتواند با استفاده از سرویس حل کپچا CapSolver کپچا را حل کند. در صورتی که برسی کردید و سایت تمو روی ip محدودیت داشت، اسکرپر باید بتواند با استفاده از سرویس پروکسی که در اختیار شما قرار داده می‌شود، تغییر ip داده و به فعالیت خودش ادامه دهد.سورس کامل روی گیت هاب تحویل میگردد