مهندس داده | Data Engineer

شرح موقعیت:

ما به دنبال یک مهندس داده متخصص برای طراحی و پیاده‌سازی فرآیندهای ETL و مدیریت داده‌ها با تمرکز بر Elasticsearch هستیم. این فرد مسئول جمع‌آوری داده‌ها از منابع مختلف، آماده‌سازی و انتقال آن‌ها به Elasticsearch برای تحلیل‌های بلادرنگ و گزارش‌دهی خواهد بود.

مسئولیت‌ها:

طراحی و اجرای فرآیندهای ETL برای جمع‌آوری، تبدیل و بارگذاری داده‌ها به Elasticsearch.
پیاده‌سازی و بهینه‌سازی Pipelineهای داده برای انتقال داده‌های حجیم به Elasticsearch.
طراحی Indexهای مناسب در Elasticsearch برای جستجو و تحلیل سریع داده‌ها.
نظارت بر عملکرد Elasticsearch و بهینه‌سازی Queryها و ساختار داده.
اطمینان از کیفیت داده‌ها و یکپارچگی آن‌ها در تمامی مراحل.
مدیریت ارتباط Elasticsearch با سایر پایگاه‌های داده و منابع داده‌ای.

شرایط احراز:

تسلط کامل به Elasticsearch (نحوه طراحی Index ،Queryها و Aggregation).
تجربه در Python (کتابخانه‌هایی مانند Pandas و PySpark).
تجربه در ابزارهایی مانند Apache Airflow ،Logstash یا Beats.
مسلط به MySQL :Oracle.
مسلط به NoSQL :MongoDB.
مسلط به SQL :PostgreSQL.
تجربه در مدیریت و پردازش داده‌های حجیم (Big Data).
دانش در زمینه Data Modeling و طراحی ساختارهای بهینه برای جستجو و تحلیل.
تجربه کار با ابزارهای Streaming داده مانند Kafka (مزیت محسوب می‌شود).

---

Position Description:

We are looking for an expert data engineer to design and implement ETL processes and data management focusing on elasticsearch. This person will be responsible for collecting data from various sources, preparing and transferring them to ElasticSearch for real -time and reporting analysis.

Responsibilities:

Design and execute ETL processes for Collecting, conversion and loading data to elasticsearch.
Implementation and optimization of data Pipelanes for transferring bulky data to elasticsearch.
Design of appropriate Indexs in elasticSearch for search and quick analysis of data.
monitor Elasticsearch and Query Optimization and Data Structure.
Ensure data quality and integrity at all stages.
Manage ElasticSearch with other databases and data sources.

Conditioning conditions :

Full mastery of Elasticsearch (How to Design Index, Query and Aggregation).
Experience in Python (libraries such as Pandas and Pyspark).
Experience in tools like Apache Airflow, Logstash or Beats.
fluent in MySQL: Oracle.
fluent in nosql: Modeling and Designing Optimized Structures for Search and Analysis.
experience working with data streaming tools such as Kafka (advantage).