مسئولیت اصلی مهندس داده در تیم ما شامل طراحی، پیاده سازی، نگهداری و بهبود مستمر زیرساخت داده است. این افراد اطمینان حاصل می کنند که داده به راحتی و با کیفیت بالا و همچنین به صورت امن و با رعایت استانداردهای عملکرد در اختیار تحلیگران داده و دانشمندان داده قرار بگیرد. همچنین این افراد بایستی نقشه راهی در خصوص ایجاد Pipeline های داده را به صورت داینامیک، fault-tolerance و با عملکرد بالا داشته باشند.
مهارت ها:
طراحی و پیاده سازی معماری داده برای براورده کردن نیازهای روبه رشد کسب و کار.
طراحی، پیاده سازی و نگهداری از Pipeline های مقیاس پذیر داده با استفاده از SSIS و Airflow.
شایستگی لازم در نوشتن کوئری های پیچیده و تسلط بر مفاهیم performance tuning در SQL Server.
حداقل سابقه برنامه نویسی 2 ساله در پایتون، سی شارپ یا جاوا.
تجربه در طراحی، استقرار و مدیریت containerized applications با استفاده از Docker.
تجربه در طراحی، پیاده سازی و نگهداری real-time data pipelines مزیت رقابتی محسوب می شود.
تجربه در پیاد سازی Object & Block Storageدر Minio و Ceph مزیت رقابتی محصوب می شود.
آشنایی با سیستم های مانیتورینگ مانند Grafana, Prometheus, and Exporters مزیت رقابتی محصوب می شود.