نشان کن
کد آگهی: KP9894930736
استخدام Data Engineer
:fill(white):quality(100)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/47c4d826-def8-4a89-b75a-bceaa7af1a2e/main.jpg)
دان | Done
در تهران
اطلاعات شغل:
نوع همکاری: تماموقت
مدرک تحصیلی مورد نیاز: کارشناسی
مهارتهای مورد نیاز:
Python
SQL
Data engineer
Big Data
NoSQL
Java
spark
پرداختها: توافقی
متن کامل آگهی:
شرکت Done، پلتفرم محتوایی تلویزیونهای هوشمند (Android TV) با بیش از 1.5 میلیون دستگاه فعال و پردازش روزانه بیش از 40 میلیون درخواست است. با توجه به گسترش محصول و برنامهریزی برای پیادهسازی سیستم ریکامندیشن (Recommendation System) پیشرفته، ما در حال ارتقا و توسعه زیرساخت داده خود هستیم.
در حال حاضر جریان دادههای ما (حدود 3 میلیون رکورد در روز) بر بستر PostgreSQL و ClickHouse مدیریت میشود. هدف اصلی در این موقعیت شغلی، معماری مجدد جریان داده، پیادهسازی زیرساخت Streaming و خودکارسازی فرآیندهای ETL است.
ما برای این نقش به یک مهندس داده ارشد (به صورت تماموقت) و یا یک معمار داده/مشاور باتجربه (به صورت پارهوقت/پروژهای) نیاز داریم تا مالکیت فنی این گذار را بر عهده بگیرد.
مسئولیتهای کلیدی:
- معماری و توسعه زیرساخت داده: طراحی، استقرار و نگهداری بستر پردازش داده مقیاسپذیر با استفاده از Kafka برای استریمینگ و Airflow برای مدیریت گردش کار (Orchestration).
- طراحی و بهینهسازی فرآیندهای ETL: ایجاد پایپلاینهای پایدار برای انتقال و همگامسازی بیدرنگ دادهها از PostgreSQL به ClickHouse جهت مصارف تحلیلی و مارکتینگ.
- مدیریت پایگاههای داده تحلیلی: مدلسازی داده، پارتیشنبندی و بهینهسازی کوئریها در ClickHouse برای پاسخگویی در کمترین زمان ممکن.
- بسترسازی برای سیستم ریکامندیشن: آمادهسازی زیرساخت پردازش کلانداده (Big Data) و همکاری در انتخاب و استقرار ابزارهای پردازشی توزیعشده (مانند Apache Spark).
- پایش و قابلیت اطمینان (Reliability): اطمینان از صحت، یکپارچگی و در دسترس بودن دادهها و ایجاد سیستمهای مانیتورینگ برای پایپلاینها.
نیازمندیهای تخصصی:
- تجربه اثباتشده: حداقل 4 سال سابقه کار تخصصی در مهندسی داده و طراحی پایپلاینهای پردازش داده در مقیاس بالا (High-throughput).
- پایگاههای داده: تسلط عمیق بر پایگاههای داده تحلیلی (بهطور خاص ClickHouse) و پایگاههای داده رابطهای (PostgreSQL).
- ابزارهای مهندسی داده: تجربه عملی در پیادهسازی و مدیریت Apache Kafka و ابزارهای Orchestration مانند Apache Airflow.
- زبانهای برنامهنویسی: تسلط عالی به Python برای توسعه پایپلاینها و تسلط کامل به SQL پیشرفته. (آشنایی با Node.js / NestJS با توجه به استک بکاند ما مزیت محسوب میشود).
- زیرساخت و عملیات: آشنایی با مفاهیم کانتینر سازی و تجربه کار در محیطهای لینوکسی (Docker و Kubernetes).
- طرز تفکر تحلیلی: توانایی درک نیازمندیهای محصولی مارکتینگ و تبدیل آنها به مدلهای داده کارآمد.
چرا این موقعیت شغلی جذاب است؟
- شما با یک سیستم از پیشساخته و غیرقابل تغییر مواجه نیستید؛ بلکه نقش کلیدی در انتخاب ابزارها و طراحی معماری پایپلاینهای جدید خواهید داشت.
- دیتای شما مستقیماً رفتار میلیونها کاربر را در یک پلتفرم زنده تحلیل میکند و زیربنای اصلی سیستم ریکامندیشن ما خواهد بود.
این آگهی از وبسایت جابینجا پیدا شده، با زدن دکمهی تماس با کارفرما، به وبسایت جابینجا برین و از اونجا برای این شغل اقدام کنین.
هشدار
گزارش مشکل آگهی
تماس با کارفرما
این آگهی رو برای دیگران بفرست
نشان کن
گزارش مشکل آگهی
جستجوهای مرتبط
سهشنبه 6 اسفند 1404، ساعت 20:03