crawler سایت دیوار

ورودی: دسته‌بندی‌ها و فیلترها (مثلا توی cat.txt لیست دسته‌بندی‌هایی که میخوایم سرچ بشه و توی filter.txt مقادیر فیلترها نوشته بشه و قابل ویرایش باشه) (چون سایت دیوار دسته‌بندی و فیلترها رو توی url اعمال میکنه میتونیم یه فایل url.txt هم داشته باشیم برای راحت‌تر شدن کار) عملکرد: براساس فیلترهای هر دسته‌بندی در تمامی شهرها سرچ کنه و تمامی آگهی‌های پیدا شده را در دیتابیس ذخیره کنه (نیازه که تمامی فیلدها از جمله اطلاعات تماس هم ثبت بشه داخل دیتابیس) (ستون‌هایی از دیتابیس که باید unique باشند رو با همفکری توافق میکنیم برای جلوگیری از ثبت اطلاعات تکراری داخل دیتابیس) *کد باید 12 ظهر و 12 شب ران بشه و عملکردهای مختلف مثل اتمام ثبت داخل دیتابیس رو در فایل .log ثبت کنه *این کد در آینده قراره توسعه داده بشه و نیازه که بسیار تمیز و مرتب با پرفورمنس بالا باشه *در حال حاضر روی سیستم شخصی قراره اجرا بشه (مثلا هر 3 روز یکبار ران میشه) *کم و زیاد شدن ویژگی‌ها با توافق طرفین انجام میشه