مهندس داده | Data Engineer

فرصت شغلی: مهندس داده – سیستم های پیشنهاد دهنده و کلان دیتا
مکان: تهران، ایران
شرکت: فروشگاه های زنجیره ای افق کوروش
نوع استخدام: تمام وقت

درباره ما
افق چاره-تخفیف بیش از 40، iran tail با بزرگترین تخفیف در 40 فروشگاه های سراسر کشور ما خرده فروشی را با تجزیه و تحلیل پیشرفته و هوش مصنوعی تغییر می دهیم. ابتکار اصلی ما ایجاد یک سیستم توصیه‌کننده در مقیاس بزرگ است که توسط خطوط لوله داده‌های بزرگ (spark/hadoop) طراحی می‌شود تا تجربه خرید را برای میلیون‌ها مشتری شخصی‌سازی کند.

نقش شما:
به‌عنوان یک مهندس داده، شما ستون فقرات تیم داده‌های بزرگ و هوش ما خواهید بود. شما زیرساخت‌ها و خطوط لوله داده‌ای را طراحی، پیاده‌سازی و نگهداری خواهید کرد که سیستم توصیه‌گر ما را تقویت می‌کنند - از گزارش‌های تراکنش خام در hdfs گرفته تا فروشگاه‌های ویژگی، مدل‌های مبتنی بر جرقه (als، k-means)، و سیستم‌های یادگیری عمیق مبتنی بر gpu. شما از نزدیک با دانشمندان داده و مهندسان ml کار خواهید کرد تا از جریان های داده مقیاس پذیر، قابل اعتماد و با کیفیت بالا اطمینان حاصل کنید.

مسئولیت های کلیدی:
. طراحی، ساخت و نگهداری خطوط لوله etl مقیاس پذیر برای میلیاردها تراکنش خرده فروشی و داده های مشتری.
. مدیریت و بهینه سازی یک خوشه هادوپ/اسپارک برای پردازش داده در مقیاس بزرگ.
. برای وارد کردن داده‌های تراکنش روزانه به دریاچه داده (hdfs/parquet) گردش‌های کاری جذب داده (مانند جریان هوا + pyspark + سرور sql) را پیاده‌سازی کنید.
. فروشگاه های ویژگی های مشتری (نمرات rfm، فرکانس، تازگی، تقسیم بندی) را ایجاد و نگهداری کنید.
. مدل های پایه (als، k-means) را در spark mllib ایجاد کنید و مجموعه داده های آموزشی را برای مدل های یادگیری عمیق (pytorch/tensorflow در gpu) آماده کنید.
. برای ادغام مدل های یادگیری عمیق در خط لوله داده، با مهندسان ml همکاری کنید.
. از کیفیت داده، اصل و نسب و حاکمیت در تمام مراحل اطمینان حاصل کنید.
. گردش کار را با جریان هوای آپاچی خودکار کنید و سلامت/عملکرد سیستم را نظارت کنید.
. پشتیبانی از استقرار نتایج در پایگاه های داده (سرور sql) و لایه های api (fastapi).
. تجربه با docker/kubernetes و مدیریت سیستم لینوکس.


الزامات
باید:
. مدرک لیسانس/کارشناسی ارشد در علوم کامپیوتر، مهندسی نرم افزار یا رشته های مرتبط.
. تجربه عملی قوی با اسپارک آپاچی (pyspark، api dataframe) و پردازش داده های توزیع شده.
. sql پیشرفته (سرور sql) – طراحی طرحواره، بهینه سازی پرس و جو، اتصال های بزرگ.
. مهارت های برنامه نویسی جامد پایتون (پانداها، پیارو، اسکریپت نویسی etl).
. آشنایی با فرمت های ذخیره سازی داده های بزرگ (پارکت، دریاچه دلتا) و hdfs.
. تجربه با ارکستراسیون گردش کار (جریان هوای آپاچی).
. درک etl، مدل‌سازی داده، و انبارهای داده.
خوب است (به علاوه):
. قرار گرفتن در معرض سیستم های توصیه کننده، شخصی سازی یا تجزیه و تحلیل مشتری.
. آشنایی با خطوط لوله یادگیری ماشین (mllib، scikit-learn، یا pytorch/tensorflow).
. دانش محیط های gpu (درایورهای cuda، nvidia) برای یادگیری عمیق.
. کار قبلی با داده‌های خرده‌فروشی یا تجارت الکترونیک در مقیاس.

چیزی که ما ارائه می‌کنیم:
. بخشی از یکی از بزرگترین پروژه های سیستم توصیه گر در صنعت خرده فروشی ایران باشید.
. با فناوری‌های پیشرفته داده‌های بزرگ و هوش مصنوعی (spark، hadoop، pytorch، tensorflow، airflow) کار کنید.
. دسترسی به زیرساخت های سخت افزاری قدرتمند (خوشه های cpu چند گره + سرورهای gpu).
. یک تیم پویا و با رشد سریع در تقاطع ai و خرده فروشی.
. حقوق رقابتی، مزایا و فرصت های رشد شغلی.

________________________________________
Job Opportunity: Data Engineer – Recommender Systems & Big Data
Location: Tehran, Iran
Company: Ofogh Kourosh Chain Stores
Employment Type: Full-time
________________________________________
About Us
Ofogh Kourosh is the largest hard-discount retail chain in Iran with over 4,700 stores nationwide. We are transforming retail with cutting-edge analytics and AI. Our flagship initiative is building a large-scale recommender system powered by big data pipelines (Spark/Hadoop) to personalize shopping experiences for millions of customers.
________________________________________
Your Role
As a Data Engineer, you will be the backbone of our Big Data & AI team. You will design, implement, and maintain the data infrastructure and pipelines that fuel our recommender system—from raw transaction logs in HDFS to feature stores, Spark-based models (ALS, K-Means), and GPU-powered deep learning systems. You will work closely with data scientists and ML engineers to ensure scalable, reliable, and high-quality data flows.
________________________________________
Key Responsibilities
. Design, build, and maintain scalable ETL pipelines for billions of retail transactions and customer data.
. Manage and optimize a Hadoop/Spark cluster for large-scale data processing.
. Implement data ingestion workflows (e.g., Airflow + PySpark + SQL Server) to bring daily transactional data into the data lake (HDFS/Parquet).
. Build and maintain customer feature stores (RFM scores, frequency, recency, segmentation).
. Develop baseline models (ALS, K-Means) in Spark MLlib and prepare training datasets for deep learning models (PyTorch/TensorFlow on GPU).
. Collaborate with ML engineers to integrate deep learning models into the data pipeline.
. Ensure data quality, lineage, and governance across all stages.
. Automate workflows with Apache Airflow and monitor system health/performance.
. Support deployment of results into databases (SQL Server) and API layers (FastAPI).
. Experience with Docker/Kubernetes and Linux system administration.

________________________________________
Requirements
Must Have:
. Bachelor’s/Master’s degree in Computer Science, Software Engineering, or related fields.
. Strong hands-on experience with Apache Spark (PySpark, DataFrame API) and distributed data processing.
. Advanced SQL (SQL Server) – schema design, query optimization, large joins.
. Solid Python programming skills (pandas, pyarrow, ETL scripting).
. Familiarity with big data storage formats (Parquet, Delta Lake) and HDFS.
. Experience with workflow orchestration (Apache Airflow).
. Understanding of ETL, data modeling, and data warehouses.
Nice to Have (big plus):
. Exposure to recommender systems, personalization, or customer analytics.
. Familiarity with machine learning pipelines (MLlib, scikit-learn, or PyTorch/TensorFlow).
. Knowledge of GPU environments (CUDA, NVIDIA drivers) for deep learning.
. Previous work with retail or e-commerce data at scale.
________________________________________
What We Offer
. Be part of one of the largest recommender system projects in Iran’s retail industry.
. Work with cutting-edge big data & AI technologies (Spark, Hadoop, PyTorch, TensorFlow, Airflow).
. Access to powerful hardware infrastructure (multi-node CPU clusters + GPU servers).
. A dynamic, fast-growing team at the intersection of AI and retail.
. Competitive salary, benefits, and career growth opportunities.