کارشناس کلان داده (Big Data)

نیازمندی‌های تخصصی:
· تسلط بر مفاهیم و ابزارهای کلان‌داده مانند Hadoop، Spark، Hive
· آشنایی با مفاهیم طراحی، پیاده‌سازی، مدیریت و نگهداری دریاچه داده (Data Lack)
· تسلط به زبان برنامه‌نویسی Python و توانایی نوشتن کدهای مقیاس‌پذیر و بهینه در Python
· تجربه کار با پایگاه‌داده‌های NoSQL مانند MongoDB, Redis, PostgreSQL, Cassandra
· آشنایی با مفاهیم پایگاه‌داده‌های مبتنی بر گراف (Graph Database) نظیر Neo4j
· آشنایی با ابزارهای Apache مانند Flink و Airflow
· آشنایی با محیط‌های مبتنی بر Unix
· تسلط بر سیستم‌های کنترل نسخه مانند GitLab
· آشنایی با مفاهیم و ابزارهای امنیتی در پردازش و انتقال داده‌ها
· آشنایی با مفاهیم یادگیری ماشینی

وظایف شغلی:
· طراحی، ساخت و نگهداری فریم‌ورک داده‌های بزرگ مانند Hadoop، Hive، Spark، Kafka
· تولید کدهای موثر و مقیاس‌پذیر بر اساس طراحی‌ها
· مدیریت، نگهداری و عیب‌یابی کلاسترهای داده
· ایجاد زیرساخت‌هایی برای دسترسی و تحلیل داده‌های بزرگ
· بهینه‌سازی و بازنگری فریم‌ورک‌ها و توابع برای افزایش کارایی
· تضمین کیفیت داده‌ها و دقت در پردازش آنها
· تضمین امنیت داده‌ها در تمام فرآیندهای پردازش و انتقال
· انتقال دانش به اعضای تیم و ارائه مستندات و دموهای کاربردی

الزامات شغلی:
· حداقل 3 سال تجربه کاری مرتبط در زمینه کلان داده
· تجربه عملی با تکنولوژی‌های حوزه کلان‌داده
· تسلط به SQL و کار با پایگاه‌داده‌های رابطه‌ای و NoSQL
· آشنایی با مفاهیم معماری زیرساخت‌های داده و مدل‌سازی داده
· آشنایی با ابزارهای علم داده مانند Pandas، Numpy، Scikit-learn
· توانایی حل مسئله، ارتباط موثر و تصمیم‌گیری دقیق
· آشنایی با ابزارهای امنیتی در زمینه پردازش داده‌های بزرگ (مزیت محسوب می‌شود)

مهارت‌های فردی:
· توانایی بالای کار تیمی و همکاری موثر با تیم‌های مختلف
· نظم و تعهد به زمان‌بندی و تحویل کار
· توجه به جزئیات و دقت در انجام وظایف
· مهارت‌های ارتباطی قوی برای انتقال اطلاعات و همکاری با اعضای تیم و سایر بخش‌ها
· توانایی مدیریت زمان و اولویت‌بندی درست کارها در پروژه‌های پیچیده