مهندس داده

شرح شغل و وظایف:
• طراحی، توسعه و نگهداری پایپ‌لاین‌های داده بزرگ مقیاس با استفاده از Click House، Kafka، Kafka Streams و Spring Boot
• توسعه و پیاده‌سازی معماری داده برای حمایت از نیازهای تجاری
• اطمینان از کیفیت و صحت داده‌ها
• توسعه و نگهداری برنامه‌های پردازش داده با استفاده از Python
• آشنایی با Airflow برای ارکستراسیون پایپ‌لاین‌های داده
 
ویژگی‌های مورد نیاز:
 • حداقل دو سال تجربه در مهندسی داده، توسعه نرم‌افزار یا زمینه مرتبط
• پیشینه قوی در معماری داده، مدل‌سازی داده و انبارداری داده
• تجربه با ClickHouse، Kafka، Kafka Streams و Spring Boot
• تجربه با Python و برنامه‌های پردازش داده
• تجربه با Airflow و data pipeline orchestration
• تجربه با Docker و پایپ‌لاین‌های CI/CD
• درک عمیق از کیفیت داده و صحت داده‌ها
• مهارت‌های قوی در حل مسئله و توجه به جزئیات
• مهارت‌های ارتباطی و همکاری عالی