نوع همکاری:
فقط حضوری و فقط اصفهان
ما به دنبال یک برنامهنویس حرفهای و باتجربه در زبان Python هستیم که توانایی طراحی و پیادهسازی خزندههای پیشرفته (crawler) برای استخراج داده از وبسایتهای مختلف را داشته باشد. فرد مورد نظر باید توانایی دور زدن سیستمهای ضد اسکرپ (نظیر Cloudflare، کپچا، Bot Protection و ...) را داشته باشد و بتواند دادههای جمعآوریشده را از طریق API به سرور ما ارسال کند تا توسط تیم پردازش تحلیل شوند.
وظایف:
- توسعه کرالر های سریع و بهینه برای جمعآوری داده از وبسایتهای هدف
- مدیریت Session، Cookie، Header و سایر پارامترهای ضد اسکرپ
- حل یا دور زدن انواع کپچا (reCAPTCHA، hCaptcha و ...)
- استفاده از ابزارهای Headless مانند Puppeteer، Playwright یا Selenium در صورت نیاز
- ساخت ماژول ارسال دادهها به سرور ما از طریق API (RESTful)
- مدیریت خطاها، Retry کردن درخواستها و گزارشگیری دقیق از وضعیت خزندهها
- مستندسازی و نگهداری کد
مهارتهای مورد نیاز:
- تسلط کامل به زبان Python
- آشنایی با کتابخانههایی مانند: requests, aiohttp, httpx, BeautifulSoup, lxml, Scrapy
- تجربه کار با ابزارهای Headless مثل: Selenium, Playwright, Puppeteer
- توانایی بالا در تحلیل رفتار سایتهای دارای سیستمهای ضد اسکرپ و یافتن راهکارهای دور زدن آنها
- تسلط به روشهای حل کپچا (با یا بدون سرویسهای واسطه مثل 2captcha)
- تجربه کار با APIهای RESTful (ارسال و دریافت داده)
- آشنایی با مفاهیم امنیتی در ارتباط با crawling و اسکریپتنویسی تحت وب
- توانایی نوشتن کد تمیز، مستندسازی شده و قابل نگهداری
- تجربه کار با Git و مدیریت پروژههای نرمافزاری
ویژگیهای فردی:
- مسئولیتپذیر، دقیق و منظم
- توانایی مدیریت زمان و ارائه خروجی در موعد مقرر
- علاقهمند به یادگیری و حل چالشهای فنی