مهندس داده | Data Engineer

شرح شغل:

• طراحی و پیاده‌سازی سیستم‌های تحلیل داده و بهبود عملکرد سیستم‌های مهندسی داده.
• طراحی و ساخت سیستم‌های پردازش داده.
• طراحی و معماری داده بر اساس نیازهای جدید.
• طراحی، پیاده‌سازی و نگهداری پایپ‌لاین‌های داده مقیاس‌پذیر.
• نگهداری سیستم‌های Big Data و ضمانت در دسترس‌پذیری و نگهداری.
• مانیتورینگ سرویس‌های دیتا و حل مسائل در صورت خرابی.

دانش، مهارت و توانایی‌های مورد نیاز:

• مسلط به زبان‌های برنامه‌نویسی مانند SQL و Python.
• مسلط به ابزارها و فریم‌ورک‌های مورد استفاده در پیاده‌سازی و مدیریت پایگاه‌های داده مانند PostgreSQL و Oracle.
• آشنایی با زبان‌های برنامه‌نویسی PL/SQL و PGSQL جهت پردازش‌های پیچیده درون دیتابیس.
• متخصص در اکوسیستم Hadoop (HDFS) و Spark.
• تجربه در طراحی و ساخت سیستم‌های پردازش داده با استفاده از Apache Airflow.
• تجربه در استفاده از extensionها جهت افزودن قابلیت‌های جدید در PostgreSQL.
• تجربه عملی در لینوکس.
• تجربه عملی در Git و GitLab.
• آشنایی با Docker.مهارت‌های ارتباطی و کار گروهی.

Job description: Design and implementation of data analysis systems and performance improvement of data engineering systems Design and construction of data processing systems Design and architecture of data based on new needs Design, Implementing and maintaining scalable data pipelines
Maintaining Big data systems and guaranteeing availability and maintenance
Monitoring data services and solving problems in case of failure
Knowledge,
skills and abilities Required:

Mastery of programming languages such as SQL and Python
Mastery of tools and frameworks used in the implementation and management of databases such as PostgreSQL and Oracle
Familiarity with languages PL/SQL and PGSQL programming for complex processing in the database
expert in the Hadoop ecosystem (HDFS), Spark
designing and building data processing systems using Apache Airflow
experience in using extensions for Adding new features in PostgreSQL
Practical experience in Linux
Practical experience in Git, GitLab
Familiarity with Docker
Communication and teamwork skills