نشان کن
کد آگهی: KP4985900290
استخدام Data Engineer
:fill(transparent):quality(100)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/305539e7-69d4-464c-bf12-e9e5f85b80fa/main.png)
نورایا | Noraya
در تهران
اطلاعات شغل:
نوع همکاری: نیمه‌وقت
مدرک تحصیلی مورد نیاز: کارشناسی
مهارت‌های مورد نیاز:
Python
SQL
Data engineer
MySQL
پرداخت‌ها: توافقی
متن کامل آگهی:
ما به دنبال یک توسعه دهنده نرم افزار مسلط به Python برای پیوستن به تیم خود در پیاده سازی پایپلاین‌های داده متنوع هستیم. فرد مورد نظر در این پوزیشن نیازمند مهارت های فنی قوی همراه با اشتیاق فراوان برای کد نویسی تمیز و تفکر داده محور است. این موقعیت به صورت پاره وقت (امکان تبدیل به تمام وقت بعد از دوره آزمایشی) و هیبرید است.
مسئولیت‌های اصلی که بر عهده می‌گیرید
مسئولیت‌های اصلی که بر عهده می‌گیرید
- طراحی و توسعه پایپلاین‌های پردازش داده با استفاده از Pandas و PySpark برای پردازش داده‌های حجیم
- ساخت و بهینه‌سازی ETL/ELT pipeline ها برای انتقال و تبدیل داده از منابع مختلف
- پیاده‌سازی و نگهداری جاب‌های Spark روی کلاسترهای توزیع شده
- دیپلوی خودکار پایپلاین‌های داده با استفاده از ابزارهای CI/CD
- مانیتورینگ و عیب‌یابی پایپلاین‌های داده در محیط production
- بهینه‌سازی عملکرد query ها و پردازش‌های داده برای کاهش زمان اجرا و مصرف منابع
- توسعه data quality check ها و اعتبارسنجی داده در مراحل مختلف پایپلاین
- همکاری با تیم‌های Data Science و Analytics برای تامین داده‌های مورد نیاز
- مستندسازی پایپلاین‌ها، فرآیندها و معماری داده
مهارت‌ها و تجربیاتی که مورد نیاز است
- تسلط کامل بر Python و کتابخانه‌های Pandas و PySpark
- تجربه عملی در طراحی و پیاده‌سازی پایپلاین‌های ETL/ELT در مقیاس بزرگ
- آشنایی عمیق با Apache Spark و مفاهیم پردازش توزیع شده
- تجربه کار با SQL و پایگاه‌های داده رابطه‌ای (PostgreSQL, MySQL) و NoSQL
- آشنایی با ابزارهای Workflow Management مانند Apache Airflow یا Luigi
- تجربه در کار با فرمت‌های مختلف داده (Parquet, Avro, JSON, CSV)
- مهارت در نوشتن کد بهینه و قابل نگهداری با رعایت best practices
- آشنایی با مفاهیم Data Warehousing و Data Lake
- تجربه کار با ابزارهای Version Control مانند Git
- توانایی debugging و profiling کدهای PySpark
- آشنایی با Docker و Kubernetes برای containerization
- مهارت در نوشتن unit test و integration test برای پایپلاین‌های داده
- توانایی کار در محیط Agile و همکاری تیمی
مهارت‌هایی که مثبت ارزیابی می‌شوند
- تجربه کار با پلتفرم‌های ابری (AWS, GCP)
- آشنایی با مفاهیم Data Governance و Data Security
- تجربه کار با Terraform یا سایر Infrastructure as Code tools
- آشنایی با MLOps و Feature Store ها
- تجربه کار با ابزارهای Monitoring مانند Prometheus و Grafana
این آگهی از وبسایت جابینجا پیدا شده، با زدن دکمه‌ی تماس با کارفرما، به وبسایت جابینجا برین و از اون‌جا برای این شغل اقدام کنین.
هشدار
گزارش مشکل آگهی
تماس با کارفرما
این آگهی رو برای دیگران بفرست
نشان کن
گزارش مشکل آگهی
جستجوهای مرتبط
سه‌شنبه 8 مرداد 1404، ساعت 05:48