مهندس داده

شرح شغل و وظایف
اگر شما می‌توانید در مهسان به عنوان یک مهندس داده به ما در طراحی و بهینه سازی سامانه داده‌های مقیاس‌پذیر با استفاده از ابزارهای مناسب طراحی و در پیاده‌سازی آن‌ها کمک کنید. این موقعیت شغلی برای شما مناسب است.

برای موفقیت در این نقش انتظار داریم مهارت‌های زیر را داشته باشید:

• گردآوری و استخراج داده‌های مورد نیاز از منابع مختلف شامل پایگاه‌های داده رابطه‌ای و غیررابطه‌ای، Rest API، فایل‌ها و ...
• شناسایی و اصلاح خطاها، رفع ناسازگاری‌ها و نواقص در مجموعه داده‌ها، پیاده‌سازی قواعد کیفیت داده (Data Validation, Data Cleaning)
• یکپارچه‌سازی داده‌ها و آماده‌سازی برای تحلیل، ایجاد لاگ و مانیتورینگ برای داده‌ها
• سازماندهی و ساختاردهی داده‌ها (مانند داده‌های کمی، کیفی، متون، تصاویر، ویدیوها)
• طراحی و توسعه برنامه‌های اتوماسیون و APIهای RESTful بر اساس فرآیندهای تیم و نیازهای تجاری
• تضمین کیفیت، قابلیت اطمینان و مشاهده‌پذیری داده‌ها از طریق سیستم‌های نظارت و اعتبارسنجی
• پیاده‌سازی معماری‌های داده جریانی با استفاده از Kafka، Spark یا ابزارهای مشابه.
• مدیریت و بهینه‌سازی انبار داده/ Lakehouse (مانند Iceberg، Databricks).
• مستندسازی شفاف فرآیندها، چالش‌ها و یافته‌ها
• استقرار، نظارت و نگهداری پلتفرم در Kubernetes با استفاده از Helm chart و GitLab CI/CD
• تحقیق و ارزیابی فناوری‌ها و ابزارهای جدید برای بهبود پلتفرم و فرآیندهای مهندسی داده
• ساخت و مدیریت مدل‌های داده، انبارهای داده و دریاچه‌های داده با استفاده از فناوری‌های مدرن.
• پیاده‌سازی چارچوب‌های کنترل کیفیت داده، نظارت و مدیریت.

مهارتهای نرم

• توانایی تحلیل و حل مسئله پیچیده.
• دقت بالا و توجه ویژه به جزئیات.
• علاقه به یادگیری تکنولوژی‌های جدید و داده‌های نوین.
• تفکر سیستمی و دید استراتژیک در طراحی سیستم‌های داده‌ای.
• ارتباطات موثر و روحیه همکاری پویا با سایر اعضای تیم
• تفکر تحلیلی و بررسی چندجانبه در مواجه با چالش‌ها
• مسئولیت‌پذیری و تعهد در انجام وظایف محول شده

افزون بر این داشتن مهارت‌های زیر اولویت جذب شما را بیشتر می‌کند:

• آشنایی با امنیت داده‌ها و مدیریت اطلاعات حساس تضمین امنیت داده‌ها و انطباق با استانداردهای سازمانی
• معماری، طراحی و پیاده‌سازی یک پلتفرم مهندسی داده با استفاده از Apache Airflow، Apache Spark، Apache Kafka، ClickHouse، S3 object storage و data lakehouse
• همکاری با دانشمندان داده، تحلیلگران داده و سایر ذینفعان برای درک نیازهای داده و ارائه راه‌حل‌های داده
• همکاری با تحلیلگران و توسعه‌دهندگان نرم‌افزار برای برآورده کردن نیازهای داده
• دانش عمیق در مدل‌سازی داده
• تجربه عملی با ابزارها و پلتفرم‌های مدرن مهندسی داده، از جمله: زمان‌بندی و اتوماسیون: Apache Airflow ، Apache NiFi ، Knime
• تجربه عملی با پایگاه‌های داده (SQL/NoSQL، PostgreSQL، ElasticSearch و …)
• مهارت‌های برنامه‌نویسی قوی در پایتون و جاوا
• تجربه عملی در ساخت Data Pipeline و Data Warehouse
• تجربه کار با داده‌های حجیم و سیستم‌های توزیع‌شده.