جمع آوری اطلاعات کسب و کارهای اینماد

هدف از این پروژه جمع آوری اطلاعات کسب و کارهای سایت اینماد هست. اسکریپتی برای جمع آوری/به روز رسانی داده ها به همراه کل دیتای جمع آوری شده کسب و کارهای اینماد، خروجی پروژه خواهد بود. در حال حاضر یک اسکریپت پایتونی هم برای این کار داریم که قبلا برای جمع آوری دیتا استفاده می شده و از bs4 استفاده می کنه ولی الان به دلایل تغییراتی از سمت اینماد به مشکل خورده، در صورتی که فریلنسر بخواد، امکانش هست که همین اسکریپت رو تغییر بده. (اشکال ایجاد شده تو دریافت دیتا احتمالا در حد ارسال نشدن هدر referrer به همراه هر درخواست هست) **اطلاعات مورد نیاز برای جمع آوری** لیست همه کسب و کارها شامل: - آدرس دامنه - عنوان کسب و کار - استان - شهر - تعداد ستاره - تاریخ اعطا - تاریخ انقضا صفحه پروفایل کسب و کار: - صاحب امتیاز - تاریخ اعتبار (در مواردی ممکنه با تاریخ انقضا تفاوت داشته باشه) - تعداد مغایرت از دستور العمل سطح 3 - تعداد مغایرت از دستور العمل سطح 2 - تعداد مغایرت از دستور العمل سطح 1 - تعداد شکایات پاسخ داده نشده - تعداد تاخیر در پاسخ دهی - سابقه کسب و کار - آدرس - تلفن - پست الکترونیکی - ساعت پاسخگویی - خدمات و مجوزهای کسب و کار (خیلی مهم) شامل: عنوان خدمت، صادر کننده مجوز، شماره مجوز، تاریخ شروع اعتبار، تاریخ پایان اعتبار، وضعیت ** موارد قابل تحویل پروژه ** - اسکریپتی که با اجراش دیتای مشخص شده رو توی فایل(های) CSV ذخیره کنه. لطفا امکان اینکه بشه در چند مرحله اطلاعات رو جمع آوری کرد رو هم داشته باشه، یعنی اگه به هر دلیلی فرآیند دریافت با مشکل مواجه یا اسکریپت بسته شد، امکان ادامه فرآیند در اجراهای بعدی وجود داشته باشه. همچنین اسکریپت باید قابلیت دریافت همزمان اطلاعات چند کسب و کار همزمان رو داشته باشه، مثلا concurrency رو بشه مشخص کرد که 10 تایی دریافت و پردازش بشه. (اسکریپت پایتونی فعلی این دو قابلیت رو داره) - کل دیتای مشخص شده برای همه کسب و کارهای اینماد در قابل فایل(های) CSV