نشان کن
کد آگهی: KP9653321132
استخدام Big Data Engineer
:fill(white):quality(100)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/8e610fc0-d4a3-11e9-bdf6-d6b790452c1a_b59300f4-2081-4de0-a5bc-b8f09a928abf/main.jpg)
گراف | Graph
در تهران
اطلاعات شغل:
نوع همکاری: تمام‌وقت
مهارت‌های مورد نیاز:
Big Data
SQL
ELK
پرداخت‌ها: توافقی
متن کامل آگهی:
ما دنبال یک مهندس داده باتجربه هستیم تا به تیم محصول XDR بپیوندد. مسئولیت اصلی این نقش طراحی، راه‌اندازی و نظارت روی سیستم‌های داده‌ای است که باید بتوانند حجم بسیار بالایی از داده‌ها را به خوبی مدیریت کنند.
برای این موقعیت، داشتن دانش عمیق در زمینه خوشه‌بندی داده‌ها مثل sharding و replication، طراحی پایپ‌لاین‌های مقیاس‌پذیر، حفظ دوام و یکپارچگی داده‌ها و همچنین تجربه در مانیتورینگ و اتوماسیون کاملاً ضروری است.
برای این موقعیت، داشتن دانش عمیق در زمینه خوشه‌بندی داده‌ها مثل sharding و replication، طراحی پایپ‌لاین‌های مقیاس‌پذیر، حفظ دوام و یکپارچگی داده‌ها و همچنین تجربه در مانیتورینگ و اتوماسیون کاملاً ضروری است.
مسئولیت ها
- طراحی و پیاده‌سازی معماری ingestion و storage برای لاگ در مقیاس 1M eps
- (Hot → Downsample → Warm).
- طراحی مدل داده‌ای (schema) بهینه برای ClickHouse و اعمال partition key/primary key برای بالاترین کارایی نوشتن و خواندن.
- پیاده‌سازی پایپ‌لاین‌های بلادرنگ/نزدیک‌بلادرنگ برای buffering، batching ضمن پشتیبانی از back-pressure handling.
- طراحی و راه‌اندازی کلاستر ClickHouse (shards + replicas) و مدیریت replication, distributed queries و fault tolerance.
- نگهداری و بهینه‌سازی PostgreSQL برای metadata و سرویس‌های مدیریتیِ مرتبط.
- تعریف و اجرای استراتژی‌های downsampling، TTL و hot/warm data-tier.
- ممیزی، اجرای بکاپ، بازیابی، مدیریت failover و تست‌های DR.
- پیاده‌سازی مانیتورینگ و alerting (Prometheus/Grafana، logs, traces)، و تعریف SLO/SLAها برای تأخیر، دسترسی پذیری و از دست رفتن داده.
- مستندسازی، کدهای اتوماسیون (CI/CD)
الزامات (Must-have) :
- حداقل 5 سال تجربهٔ عملی در مهندسی داده یا مهندسی زیرساخت‌های داده در مقیاس بزرگ.
- تجربه عملی در طراحی و راهبری سیستم‌های داده‌ای مقیاس‌پذیر و توزیع‌شده.
- توانایی کار با مفاهیم کلاسترینگ، replication، sharding , eventual consistency و trade-offهای سیستم‌های توزیع‌شده.
- تجربهٔ طراحی سیستم‌هایی با نرخ بالای ورودی داده (مشابه 1M eps) — توانایی طرح‌ریزی ظرفیت (capacity planning).
- مهارت قوی در PostgreSQL (indexing, partitioning, vacuum/maintenance، replication).
- تجربه در مانیتورینگ، logging و alerting (Prometheus, Grafana، ELK / EFK).
- زبان‌ها/اسکریپت: SQL پیشرفته، و یک یا چند زبان برنامه‌نویسی برای ETL/infra (Python, Go, Java, یا Rust).
- مهارت در طراحی پایپ‌لاین‌های با تحمل خطا و مدیریت backpressure در جریان‌های داده‌ای با حجم بالا.
- تسلط بر SQL و تجربهٔ عملی با دیتابیس‌ها/پایگاه‌های داده در محیط‌های production.
- تسلط کافی به انگلیسی فنی (خواندن مستندات، نوشتن docs/PRs).
- توانایی کار تیمی، مستندسازی فنی و حضور در on-call rota در صورت نیاز.
مهارت های فردی:
- روحیهٔ همکاری تیمی
- مسئولیت‌پذیری در کیفیت تحویل (کدنویسی، تست، مستند)
- توان حل مسئله و تفکر سیستمی
- انعطاف‌پذیری در پذیرش بازخورد
این آگهی از وبسایت جابینجا پیدا شده، با زدن دکمه‌ی تماس با کارفرما، به وبسایت جابینجا برین و از اون‌جا برای این شغل اقدام کنین.
هشدار
گزارش مشکل آگهی
تماس با کارفرما
این آگهی رو برای دیگران بفرست
نشان کن
گزارش مشکل آگهی
جستجوهای مرتبط
یک‌شنبه 28 مهر 1404، ساعت 03:12