Data Engineer

ما به دنبال یک مهندس داده باتجربه هستیم که بتواند data pipelines مقیاس‌پذیر و قابل اعتماد را با استفاده از فناوری‌های پیشرفته طراحی و پیاده‌سازی کند. شما در این نقش مسئولیت توسعه معماری داده، اطمینان از کیفیت و یکپارچگی داده‌ها، و همکاری با تیم‌های مختلف برای پشتیبانی از نیازهای تجاری را خواهید داشت. اگر شما تجربه کار با سیستم‌های توزیع شده و ابزارهای پیشرفته‌ای مانند Kafka و ClickHouse دارید، این موقعیت برای شما مناسب است.


مسئولیت‌ها:

• طراحی، توسعه و نگهداری data pipelines بزرگ با استفاده از ClickHouse، Kafka، Kafka Streams و Spring Boot.
• توسعه و پیاده‌سازی data architecture برای پشتیبانی از نیازهای کسب‌وکار.
• توسعه برنامه‌های پردازش داده با استفاده از Python.
• تضمین کیفیت و یکپارچگی داده‌ها در تمامی فرآیندهای پردازش
• هماهنگی data pipelines با استفاده از Airflow.
• همکاری با تیم‌های فنی و غیرفنی برای ارائه راه‌حل‌های داده‌محور.

شرایط احراز:

• حداقل 2 سال تجربه در مهندسی داده، توسعه نرم‌افزار یا حوزه‌های مرتبط.
• تجربه قوی در زمینه data architecture، data modeling و طراحی data warehouse.
• تجربه با Airflow و ابزارهای orchestration برای data pipelines.
• مهارت کار با ClickHouse، Kafka، Kafka Streams و Spring Boot.
• تسلط به Python و توسعه برنامه‌های پردازش داده.
• آشنایی با Docker و CI/CD.
• آشنایی با فرایند‌های توسعه نرم‌افزار و فریمورک‌های اجایل(Scrum, Kanban)
• درک کامل از مفاهیم data quality و data integrity.
• توانایی حل مسائل پیچیده و توجه به جزئیات.