مهندس داده | Data Engineer

ماموریت
مسئولیت های اصلی مهندس داده ما شامل طراحی، پیاده سازی، نگهداری و بهبود مستمر زیرساخت داده ما است. آنها باید با تحلیلگران داده و دانشمندان داده همکاری کنند تا ضمن حفظ امنیت و سطوح عملکرد قابل قبول، داده هایی با کیفیت بالا و دسترسی آسان را تضمین کنند. آنها باید چشم انداز طراحی نقشه راه برای خطوط لوله افزایشی، پویا، با تحمل خطا و عملکرد بالا در همکاری با توسعه دهندگان پلت فرم داشته باشند.

مهارت
طراحی و پیاده سازی معماری داده برای رفع نیازهای در حال تحول کسب و کار .
طراحی، پیاده سازی و نگهداری خطوط لوله داده دسته ای مقیاس پذیر (ssis، airflows).
مهارت در نوشتن پرس و جوهای پیچیده و آشنایی با اشیاء sql مانند رویه های ذخیره شده، توابع و غیره برای پیاده سازی منطق تجاری در خطوط لوله.
تجربه در تنظیم عملکرد سرور sql و پرس و جوها.
مهارت های برنامه نویسی قوی در پایتون، جاوا و c#.
تجربه در طراحی ، استقرار و مدیریت برنامه های کاربردی کانتینری با استفاده از docker.
طراحی، پیاده سازی و حفظ خطوط لوله داده مقیاس پذیر در زمان واقعی یک امتیاز مثبت است. (کافکا (دبزیوم) و اسپارک).
تجربه در ذخیره سازی اشیاء و بلوک مانند مینیو و ceph یک امتیاز مثبت است.
آشنایی با سیستم های نظارتی مانند grafana، prometheus، و صادرکنندگان.

Mission:

The primary responsibilities of our data engineer include designing, implementing, maintaining, and continually improving our data infrastructure. They must collaborate with data Analysts and data scientists to ensure high-quality and easily accessible data while maintaining security and acceptable performance levels. They should possess the vision to design a roadmap for incremental, dynamic, high fault-tolerance, and high-performance pipelines in collaboration with platform developers.

• Design and implement data architecture to meet evolving business needs.
• Design, implement, and maintain scalable batch data pipelines (SSIS, Airflows).
• Design, implement, and maintain scalable real-time data pipelines is a plus (Kafka, Debezium, and Spark).

Skills:

• Proficiency in writing complex queries and familiarity with SQL objects like Stored Procedures, Functions, etc., to implement business logic in pipelines.
• Experience in performance tuning of SQL Server and queries.
• Strong programming skills in Python, Java, and C#.
• Experience in designing, deploying, and managing containerized applications using Docker.
• Experience in object and block storage like Minio and Ceph is a plus.
• Familiarity with monitoring systems such as Grafana, Prometheus, and Exporters.