Data Engineer

شرح موقعیت شغلی: 

محصول کلیدی ما یک پلتفرم گزارشگری مالی که در حال حاضر در شرکت های بزرگ و معتبری در حال استفاده است.  ما به دنبال یک مهندس داده ماهر و با انگیزه برای پیوستن به تیم فنی در اکسیر سیستم پویا هستیم. به عنوان یک مهندس داده، شما نقش مهمی در ایجاد و حفظ زیرساخت داده‏ای ایفا خواهید کرد که از محصولات داده محور ما پشتیبانی می کند. تخصص شما در طراحی، توسعه، و بهینه‌سازی خطوط پردازش  داده، تضمین جریان یکپارچه داده‌ها از منابع مختلف به انبارهای داده و پلت‌فرم‌های تجزیه و تحلیل ما مفید خواهد بود.

مسئولیت ها:

• برای درک نیازهای داده‌ها و طراحی راه‌حل‌های داده کارآمد، با تیم‌های همکار، از جمله  تحلیلگران، و مهندسان نرم‌افزار همکاری کنید.
• توسعه و نگهداری data pipeline های مقیاس پذیر و قابل اعتماد برای فرآیندهای ETL  و ادغام داده ها از منابع مختلف در data warehouse و data lake.
• طراحی و پیاده‌سازی مدل‌ها و schema داده‌ای که ذخیره‌سازی کارآمد، query و تجزیه و تحلیل داده‌ها را تسهیل می‌کند.
• پردازش داده ها و عملکرد pipeline ها را برای اطمینان از در دسترس بودن به موقع و دقیق داده ها برای تجزیه و تحلیل و گزارش بهینه کنید.
• پایش و عیب یابی data pipeline برای شناسایی و حل مشکلات به موقع
• در جریان روندهای صنعت و بهترین شیوه ها در مهندسی داده باشید و با ایده های نوآورانه برای بهبود زیرساخت ها و فرآیندهای داده همکاری کنید.
• همکاری در ارزیابی و پیاده سازی ابزارها و فناوری های جدید که گردش کار مهندسی داده را بهبود می بخشد.
• فرآیندها، pipeline ها و گردش کار را برای اطمینان از درک واضح و اشتراک دانش بین اعضای تیم مستند کنید.

قابلیت‏ها و شایستگی‏های لازم : 

• تجربه موفق به عنوان مهندس داده یا نقش مشابه، با درک قوی از یکپارچه سازی داده ها، فرآیندهای ETL، و data warehouse.
• تجربه عملی با ابزارهای مدیریت Data pipeline    ( Apache NiFi یا  Apache Airflow و موارد مشابه).
• تسلط به زبان های برنامه نویسی مانند پایتون، یا #C
• درک کامل از سیستم های پایگاه داده،  رابطه ای  (مانند MS-SQL) و NoSQL  (مانند MongoDB )
• آشنایی با مفاهیم و تکنیک های مدل سازی داده ها.
• مهارت های حل مسئله قوی و توجه به جزئیات، با توانایی تشخیص و حل مسائل در محیط های داده پیچیده.