مهندس داده | Data Engineer

شرح شغل و وظایف
ما به دنبال یک مهندس داده با تجربه و درک عمیق از سیستم های دریاچه های داده، انبارهای داده و پایگاه داده هستیم. در این نقش، شما مسئول طراحی، توسعه و بهینه سازی زیرساخت های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی نقص، دسترسی بالا و مقیاس پذیری را تضمین کنید. کاندید ایده ال باید در روش های مدیریت داده تخصص قوی داشته باشد و بتواند راه حل های پیشرفته ای را برای پشتیبانی از جریان های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده سازی کند. همچنین، شما با تیم های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل ها و راه حل های هوشمندی ایجاد کنید که از داده های ما به طور موثر بهره برداری کنند.

مسیولیت های کلیدی
توسعه خطوط لوله داده: طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده ها در سیستم های متنوع. اطمینان از سازگاری، قابلیت اطمینان و قابلیت حسابرسی داده ها.
مدیریت دریاچه و انبار داده: رهبری در طراحی، بهینه سازی و نگهداری دریاچه ها و انبارهای داده برای سازمان دهی و بازیابی کارآمد داده ها، تسهیل تصمیم گیری مبتنی بر داده.
مدیریت پایگاه داده: مدیریت و بهینه سازی پایگاه های داده رابطه ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت. استفاده از تکنیک هایی مانند ایندکس گذاری، شاردینگ و تکرار.
یکپارچه سازی و تجمیع داده: توسعه جریان های کاری برای یکپارچه سازی و تجمیع داده ها از منابع متعدد، ایجاد مجموعه داده های غنی شده مناسب برای تحلیل و گزارش دهی.
بهینه سازی عملکرد: نظارت و بهبود مستمر عملکرد دریاچه های داده، انبارهای داده و خطوط لوله مرتبط برای مدیریت ورودی و تبدیل داده های بزرگ مقیاس.
تضمین کیفیت داده: با پیاده سازی و اعمال استانداردهای کیفیت داده، شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده ها را تضمین نمایید.
روحیه کار تیمی: با همکاری نزدیک با دانشمندان داده، تحلیل گران کسب وکار و مهندسان هوش مصنوعی، اطمینان حاصل کنید که زیرساخت داده از تحلیل ها، یادگیری ماشین و اهداف کسب وکار پشتیبانی می کند؛ این همکاری امکان توسعه بی نقص مدل های هوش مصنوعی را فراهم می اورد.
پشتیبانی زیرساخت: با تیم DevOps همگام شوید تا استقرار زیرساخت های داده ابری را سازمان دهی کنید، از ابزارهای "زیرساخت به عنوان کد" بهره ببرید و مقیاس پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.

مهارت ها و صلاحیت ها
مهارت های ارتباطی: تسلط قوی در ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیرفنی.
تجربه: حداقل 3 سال تجربه حرفه ای در مهندسی داده، با تخصص عملی در مدیریت دریاچه های داده پیچیده، انبارهای داده و پایگاه های داده توزیع شده.
دریاچه های داده: تجربه اثبات شده در طراحی و پیاده سازی معماری های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3، Azure Data Lake یا Google Cloud Storage.
انبار داده: تخصص در پلتفرم هایی مانند Amazon Redshift، Snowflake یا Google BigQuery، با تمرکز بر طراحی پیشرفته اسکیما و بهینه سازی کوئری.
مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه های داده رابطه ای (مانند PostgreSQL و MySQL) و سیستم های NoSQL (مانند MongoDB و Cassandra).
توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow، Talend یا Informatica برای خودکارسازی جریان های کاری داده.
برنامه نویسی: مهارت های قوی در Python، با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
پردازش داده های بزرگ: دانش عمیق از فریم ورک های داده بزرگ مانند Apache Spark، Hadoop یا Kafka برای پردازش داده های توزیع شده و جریانی.
پلتفرم های ابری: تجربه عملی با پلتفرم های ابری مانند AWS، Google Cloud یا Azure، شامل استفاده از ابزارها و خدمات ابری.
جریان بلادرنگ: تجربه با پلتفرم های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.

مهارت های ترجیحی
کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
تصویری سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش های کسب وکار و گزارش دهی.

Job Description and Responsibilities
We are looking for a Data Engineer with experience and a deep understanding of data lake, data warehouse and database systems. In this role, you will be responsible for designing, developing and optimizing large-scale data infrastructures to ensure seamless integration, high availability and scalability. The ideal candidate should have strong expertise in data management methodologies and be able to implement advanced solutions to support complex analytical workflows and real-time needs. You will also work closely with AI teams to create intelligent models and solutions that effectively leverage our data.

Key Responsibilities
Data Pipeline Development: Design, develop and maintain scalable ETL/ELT pipelines to efficiently extract, transform and load data into diverse systems. Ensure data consistency, reliability and auditability.
Data Lake and Warehouse Management: Lead the design, optimization and maintenance of data lakes and warehouses to efficiently organize and retrieve data, facilitating data-driven decision-making.
Database Management: Manage and optimize relational and NoSQL databases to ensure high performance, data integrity, and security. Use techniques such as indexing, sharding, and replication.
Data Integration and Aggregation: Develop workflows to integrate and aggregate data from multiple sources, creating rich datasets suitable for analysis and reporting.
Performance Optimization: Monitor and continuously improve the performance of data lakes, data warehouses, and related pipelines to manage large-scale data ingest and transformation.
Data Quality Assurance: Ensure data accuracy and reliability by implementing and enforcing data quality standards, including automated validation, anomaly detection, and reconciliation processes.
Teamwork: Work closely with data scientists, business analysts, and AI engineers to ensure that the data infrastructure supports analytics, machine learning, and business goals; this collaboration enables the seamless development of AI models.
Infrastructure Support: Work with the DevOps team to orchestrate the deployment of cloud data infrastructure, leveraging “infrastructure as code” tools, and ensuring scalability, fault tolerance, and disaster recovery.

Skills and Qualifications
Communication Skills: Strong written and spoken English communication skills to effectively communicate technical concepts to technical and non-technical stakeholders.
Experience: At least 3 years of professional experience in data engineering, with hands-on expertise in managing complex data lakes, data warehouses, and distributed databases.
Data Lakes: Proven experience designing and implementing data lake architectures using tools such as Amazon S3, Azure Data Lake, or Google Cloud Storage.
Data Warehouse: Expertise in platforms such as Amazon Redshift, Snowflake, or Google BigQuery, with a focus on advanced schema design and query optimization.
Database Administration: Strong SQL proficiency, with experience managing relational databases (such as PostgreSQL and MySQL) and NoSQL systems (such as MongoDB and Cassandra).
ETL Development: Proficiency in ETL tools such as Apache Airflow, Talend, or Informatica to automate data workflows.
Programming: Strong skills in Python, with an emphasis on writing clean, modular, and documented code.
Big Data Processing: Deep knowledge of big data frameworks such as Apache Spark, Hadoop, or Kafka to process distributed and streaming data.
Cloud Platforms: Hands-on experience with cloud platforms such as AWS, Google Cloud, or Azure, including use of cloud tools and services.
Real-Time Streaming: Experience with real-time data streaming platforms such as Apache Kafka or Amazon Kinesis to maintain real-time pipelines.
Preferred Skills
Containerization and Orchestration: Experience with Docker and Kubernetes to containerize and manage distributed workloads.
Data Visualization: Familiarity with tools such as Power BI or Tableau to support business insights and reporting.