Senior Data Engineer

در تیم داده شرکت پردازش اطلاعات مفید، درحال طراحی و اتوماتیک سازی پایپلاین های داده هستیم. در این مسیر به دنبال جذب همکارانی جدیدی با تجربه در زمینه توسعه سیستم های داده ای هستیم.
شرح شغل:
نوشتن و بهینه سازی Query
استقرار پایپلاین داده در Docker و Gitlab
پیاده سازی اسکریپتهای مورد نیاز در ClickHouse
پیاده سازی و نگهداری پایپلاین داده در Airflow و Kafka Stream
توانایی حل مسئله
روحیه انتقادپذیری
توانایی کار تیمی و تعامل سازنده
حداقل 2 سال سابقه کاری مرتبط
آشنایی با فریمورک Kafka
تجربه استقرار در Docker در محیط عملیاتی
دارای سابقه کار در توسعه به زبانهای Python و Java
دارای سابقه کار در زمینه ساخت پایپلاین داده در Airflow
تجربه در پیاده سازی راه کار چالش­هایی مانند Scalability, Availability, Performance
تسلط به مفاهیم پایگاه داده و دارای تجربه در حل چالشهای مربوط به داده های حجیم
ویژگی‌ امتیازی:
تجربه عملی استفاده از دیتابیس‌های مختلف SQL/NoSQL و انباره‌های داده (مثلا Clickhouse)