نشان کن
کد آگهی: KP1396968108
استخدام Data Engineer
:fill(transparent):quality(100)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/a17b26ce-f3cc-402f-904d-7869c255e6da/main.png)
ژرفاتک | Zharfatech
در تهران
اطلاعات شغل:
نوع همکاری: تمام‌وقت
مدرک تحصیلی مورد نیاز: کارشناسی
مهارت‌های مورد نیاز:
Python
ETL
SQL
NoSQL
پرداخت‌ها: توافقی
متن کامل آگهی:
ما به دنبال یک مهندس داده با تجربه و ماهر هستیم تا به تیم فنی ما بپیوندد. فرد مورد نظر باید مهارت‌های فنی قوی در تحلیل، طراحی و پیاده‌سازی زیرساخت‌های داده را داشته باشد و علاقه‌مند به کار با داده‌های حجیم و پردازش توزیع‌شده و پردازش‌های هوش‌مصنوعی باشد. این موقعیت به صورت تمام‌وقت و حضوری است.
مسئولیت‌های اصلی:
- طراحی، توسعه و نگهداری پایپلاین‌های ETL/ELT برای انتقال، تبدیل و بارگذاری داده‌ها از منابع متنوع.
- پیاده‌سازی و بهینه‌سازی پردازش داده‌های حجیم با استفاده از ابزارهایی مانند Apache Spark و ....
- مدیریت و نگهداری پایگاه‌های داده رابطهSQL و NoSQL.
- تحلیل، طراحی و استفاده صنعتی از ابزارهای پیام‌رسان مانند Apache Kafka.
- تجربه کار با ابزارهای orchestration مانند Apache Airflow.
- توسعه فرایندهای تضمین کیفیت داده (Data Quality) و اعتبارسنجی در مراحل مختلف پردازش.
- مستندسازی فرآیندها، معماری داده و عیب‌یابی مسائل در محیط production.
- پایش عملکرد سرویس‌ها با ابزارهای مانیتورینگ.
مهارت‌ها و تجربیات مورد نیاز:
- تسلط کامل به زبان Python و آشنایی به زبان Go یا جاوا.
- تجربه عملی در طراحی پایپلاین‌های ETL/ELT در مقیاس بزرگ.
- آشنایی عمیق با Apache Spark و مفاهیم پردازش توزیع‌شده.
- تجربه کار با SQL پیشرفته و پایگاه‌های داده رابطه‌ای/NoSQL.
- آشنایی با ابزارهای مدیریت workflow.
- تجربه کار با فرمت‌های داده.
- مهارت در نوشتن کد بهینه، آشنایی با اصول طراحی نرم‌افزار و best practices و استفاده از version control.
- آشنایی با مفاهیم Data Warehousing، Data Lake (مانند Minio و Apache Iceberg).
- آشنایی با Docker و Kubernetes برای containerization و orchestration.
- مهارت در نوشتن unit test و integration test برای پایپلاین‌ها.
- توانایی کار در محیط Agile و همکاری تیمی.
این آگهی از وبسایت جابینجا پیدا شده، با زدن دکمه‌ی تماس با کارفرما، به وبسایت جابینجا برین و از اون‌جا برای این شغل اقدام کنین.
هشدار
گزارش مشکل آگهی
تماس با کارفرما
این آگهی رو برای دیگران بفرست
نشان کن
گزارش مشکل آگهی
جستجوهای مرتبط
جمعه 19 مهر 1404، ساعت 03:38