مهندس داده | Data Engineer

ما به دنبال یک مهندس داده با تجربه و با درک عمیق از سیستم‌های دریاچه‌های داده، انبارهای داده و پایگاه داده هستیم. در این نقش شما مسئول طراحی، توسعه و بهینه‌سازی زیرساخت‌های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی‌نقص، دسترسی بالا و مقیاس‌پذیری را تضمین کنید. کاندید ایده‌ال باید در روش‌های مدیریت داده تخصص قوی داشته باشد و بتواند راه‌حل‌های پیشرفته‌ای را برای پشتیبانی از جریان‌های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده‌سازی کند. همچنین شما با تیم‌های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل‌ها و راه‌حل‌های هوشمندی ایجاد کنید که از داده‌های ما به طور موثر بهره‌برداری کنند.

مسئولیت‌های کلیدی:

• طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس‌پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده‌ها در سیستم‌های متنوع.
• رهبری در طراحی، بهینه‌سازی و نگهداری دریاچه‌ها و انبارهای داده برای سازمان‌دهی و بازیابی کارآمد داده‌ها.
• مدیریت و بهینه‌سازی پایگاه‌های داده رابطه‌ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت.
  استفاده از تکنیک‌هایی مانند ایندکس‌گذاری، شاردینگ و تکرار.
• با پیاده‌سازی و اعمال استانداردهای کیفیت داده شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده‌ها را تضمین نمایید.
• با تیم DevOps همگام شوید تا استقرار زیرساخت‌های داده ابری را سازمان‌دهی کنید، از ابزارهای زیرساخت به عنوان کد بهره ببرید و مقیاس‌پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.

مهارت‌ها و صلاحیت‌ها:

• مهارت‌های ارتباطی: تسلط قوی به ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذی‌نفعان فنی و غیر فنی.
• تجربه: حداقل سه سال تجربه حرفه‌ای در مهندسی داده با تخصص عملی در مدیریت دریاچه‌های داده پیچیده، انبارهای داده و پایگاه‌های داده توزیع شده.
• دریاچه‌های داده: تجربه اثبات شده در طراحی و پیاده‌سازی معماری‌های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3 ،Azure Data Lake یا Google Cloud Storage.
• انبار داده: تخصص در پلتفرم‌هایی مانند Amazon Redshift ،Snowflake یا Google BigQuery با تمرکز بر طراحی پیشرفته اسکیما و بهینه‌سازی کوئری.
• مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه‌های داده رابطه‌ای (PostgreSQL و MySQL) و سیستم‌های NoSQL (MongoDB و Cassandra).
• توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow ،Talend یا Informatica برای خودکارسازی جریان‌های کاری داده.
• برنامه‌نویسی: مهارت‌های قوی در Python با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
• پردازش داده‌های بزرگ: دانش عمیقی از فریم‌ورک‌های داده بزرگ مانند Apache Spark ،Hadoop یا Kafka برای پردازش داده‌های توزیع شده و جریانی.
• پلتفرم‌های ابری: تجربه عملی با پلتفرم‌های ابری مانند AWS ،Google Cloud یا Azure شامل استفاده از ابزارها و خدمات ابری.
• جریان بلادرنگ: تجربه با پلتفرم‌های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.

مهارت‌های ترجیحی:

• کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
• تصویری‌سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش‌های کسب‌وکار و گزارش‌دهی.

این شغل می‌تواند با اضافه کاری همراه باشد.

The job description and tasks
We are looking for an experienced data engineer and a deep understanding of data lake systems, data warehouses and databases. In this role, you will be responsible for the design, development and optimization of large -scale data infrastructure to ensure perfect integration, high access and scalability. The ideal candidate must have a strong expertise in data management methods and be able to implement advanced solutions to support complex analytical workflows and real-time needs. Also, you will work closely with artificial intelligence teams to create smart models and solutions that can effectively exploit our data.
Key responsibilities
design, development and maintenance of ETL/ELT pipelines for the extraction, conversion and efficient data loading, and efficient data management and data management. Relational data and nosql to ensure high performance, integration and security. Using techniques such as indexing, shavering and repetition.
with implementation and implementation of data quality standards, including automatic validation, anomalies and matching processes, accuracy and reliability.
Skills and Competences
Communication Skills: strong English written and speech mastery to effectively express technical concepts to technical and non -technical stakeholders.
Experience: at least 3 years of professional data engineering experience, with practical expertise in complex data lake management, data warehouses and databases. Azure Data Lake or Google Cloud Storage.
Warehouse Data: Specialty in platforms such as Amazon Redshift, Snowflake or Google Bigquery, focusing on advanced Squima design and query optimization.
Database Management: SQL's strong mastery, experience in managing databases (such as Postgress MySQL) and nosql systems (such as Such as Apache Spark, Hadoop or Kafka for processing distributed and current data.
Cloud platforms: Practical experience with cloud platforms such as AWS, Google Cloud or Azure, including the use of cloud tools and services.
experience: Experience with Law Platforms such as Apache Kafka Immediately.
Preferential skills
Container and orchestration: Experience with Docker and Kubernets for containers and managing distributed cargo.