مدیر عملیات داده

سحاب یه شرکت نرم افزاریه که در لایه های مختلف خلق ارزش در حوزه کلان‌داده فعالیت می‌کنه. و یکی از اولین حلقه‌های این زنجیره ارزش تیم عملیات داده است که در تعامل موثر با تیم‌های عملیاتی مشتریان و تیم‌های فنی-اجرایی سحاب؛ مسئولیت طراحی، استقرار و بهینه‌سازی فرایندهای مدیریت عملیات داده را بر عهده دارد و مطمئن میشه که داده‌ها در سازمان:
به‌صورت پایدار، قابل ردیابی، امن و با کیفیت بالا جریان داشته باشند؛
فرایندهای داده‌ای به شکل خودکار (Automated)، مانیتورشده (Observable) و قابل اعتماد (Reliable) اجرا شوند؛
و تیم‌های مرتبط از قبیل تیم‌های تحلیلی، تیم‌های محصولی و ... بتوانند به‌موقع و با اطمینان داده‌ها را تحویل بگیرند؛

کارهایی که به عنوان مدیر عملیات داده انجام میدی:
تعامل مستمر با تیم‌های عملیاتی مشتریان در راستای دسترسی منظم و با کیفیت به داده‌های ورودی
تعامل مستمر با تیم‌های فنی-اجرایی شرکت در رابطه با طراحی و اجرای فرایندهای فنی-اجرایی مورد نیاز با توجه به نیازمندی‌‌های کلان پروژه
ایجاد، نهایی‌سازی و بروزرسانی شناسنامه داده بر اساس مصاحبه‌های تخصصی با ذی‌نفعان ارائه‌دهنده داده، طبقه‌بندی داده‌ها، بررسی کیفیت داده‌های ارائه شده، بازه‌های زمانی دسترسی به داده و فراداده‌‌های مرتبط (Metadata) در ابعاد فنی، تجاری و عملیاتی و همچنین تغییرات مورد نیاز برای بارگذاری داده.
طراحی، پیاده‌سازی و مدیریت جریان داده‌های خودکار برای استخراج، تبدیل و بارگذاری داده‌ها (ETL/ELT)
شناسایی و عکس‌العمل موثر در رابطه با رفع گلوگاه‌ها در فرایندهای دریافت، استخراج، تبدیل و بارگذاری داده‌ها  (اختلال‌های داده‌ای) در راستای بهبود عملکرد و کاهش هزینه‌های فنی-اجرایی و ارائه پیشنهادهای بهبود مستمر
مدیریت و راهبری تیم 4 تا 5 نفره با تخصص‌های مرتبط
طراحی و نگهداشت SLA بازای جریان‌های مختلف داده
مشارکت در رعایت استانداردهای امنیتی داده و محافظت از داده‌ها در برابر دسترسی غیرمجاز
ایجاد و نگهداری مستندات دقیق در مورد فرایندها، سیستم‌ها و زیرساخت‌های مرتبط
ارائه گزارش‌های دوره‌ای و موردی در رابطه با حیطه فعالیت‌های اجرایی
بررسی و ارزیابی ابزارها، فناوری‌ها و رویکردهای جدید عملیات مدیریت داده برای بهبود مستمر فرایندهای اجرایی

مهارت‌ها و شایستگی‌هایی که روش حساب می‌کنیم:
آشنایی عمومی با مفاهیم و ابزارهای ETL 
درک مفاهیم Data Lineage و Metadata
تسلط نسبی بر مفاهیم طراحی، ساخت، تست، و استقرار جریان داده‌ای (Data Flow) با ابزارهایی مانند Apache NiFi با استفاده از Process Groupها، Templateها و Version Control
شناخت نسبی از Best Practiceهای طراحی جریان‌های داده با تضمین مقیاس‌پذیری و قابلیت اطمینان 
شناخت کافی از پردازشگرهای (Processors) مختلف و نحوه پیکربندی آن‌ها و همچنین آشنایی با مدیریت صف (Queue) و اولویت‌بندی داده در ابزارهای پردازش داده مانند NiFi 
توانایی عیب‌یابی و رفع مشکلات مربوط به جریان‌های داده‌ای از قبیل انجام بهینه‌سازی‌های لازم در رابطه با Processorها
آشنایی با خواندن و تفسیر دقیق لاگ‌ها و مستندسازی و پیشگیری از خطاهای تکرارشونده در رابطه با سوانح
آشنایی با ابزارهای مانیتورینگ و Logging مانند Prometheus، Grafana و سایر ابزارهای پرکاربرد مانیتورینگ برای پایش جریان‌های داده‌ای
درک مفاهیم API و Web Services و نحوه یکپارچه‌سازی با آنها
توانمندی پایش Health و Performance مربوط به NiFi پیاده‌سازی‌شده و آشنایی نسبی با مفاهیم بهینه‌سازی عملکرد ابزارهای پردازش داده 
تسلط نسبی بر پایتون (سطح متوسط) یا Groovy (سطح مقدماتی تا متوسط) یا JavaScript (سطح مقدماتی تا متوسط) برای طراحی و پیاده‌سازی اسکریپت‌هایی که برای انجام وظایف پیچیده‌تر مانند تبدیل داده، اعتبارسنجی داده، یا فراخوانی APIهای خارجی استفاده ‌می‌شوند. 
مهارت کافی برای کار با ابزارهای Microsoft Office شامل Word، Excel و PowerPoint

خوشحال‌تر می‌شیم اگه اینا رو هم بلد باشی:
تسلط نسبی بر  Bash/Shell Scripting برای اتوماسیون وظایف سیستم‌عامل
توانایی خواندن و درک کد از پیش نوشته شده در رابطه با تبدیل داده، اعتبارسنجی داده، یا فراخوانی APIهای خارجی 
آشنایی با جاوا
آشنایی با SQL برای خواندن داده از منابع مختلف
آشنایی با RESTful API Integration
آشنایی مناسب با ساختار فایل‌های csv، json، avro، s3
آشنایی نسبی با تنظیم ساختار CI/CD برای داده‌ها
آشنایی با داده‌های مخابراتی، بانکی و ... در  یک یا چند سطح زیر:
پایه: درک ساختار schemaها و اصطلاحات اصلی Domain (CDR، IMSI، Cell_ID...)
میانی: توانایی طراحی جریان داده و تست کیفیت بر اساس منطق تجاری (Business Logic)
پیشرفته: توانایی تحلیل رفتار داده‌ای دامنه و کشف ناهنجاری‌ها
توانایی طراحی جریان‌های داده برای ادغام داده‌های دامنه‌های مختلف (Cross-Domain Data Flows)
شناخت حساسیت داده‌ها (مخابراتی، مالی و ...) و اعمال سیاست‌های Data Governance
آشنایی نسبی با مفاهیم مدیریت سرویس (ITIL) 
آشنایی نسبی با مفاهیم مدیریت پروژه
تجربه عملی کار با ابزارهای Jira و Confluence و طراحی ساختارهای مرتبط