کارشناس کلان داده (Big Data) | Big Data Analyst

نیازمندی‌های تخصصی:
• تسلط بر مفاهیم و ابزارهای کلان‌داده مانند Hadoop، Spark، Hive
• آشنایی با مفاهیم طراحی، پیاده‌سازی، مدیریت و نگهداری دریاچه داده (Data Lack)
• تسلط به زبان برنامه‌نویسی Python و توانایی نوشتن کدهای مقیاس‌پذیر و بهینه در Python
• تجربه کار با پایگاه‌داده‌های NoSQL مانند MongoDB, Redis, PostgreSQL, Cassandra,
• آشنایی با مفاهیم پایگاه‌داده‌های مبتنی بر گراف (Graph Database) نظیر Neo4j
• آشنایی با ابزارهای Apache مانند Flink و Airflow
• آشنایی با محیط‌های مبتنی بر Unix
• تسلط بر سیستم‌های کنترل نسخه مانند GitLab
• آشنایی با مفاهیم و ابزارهای امنیتی در پردازش و انتقال داده‌ها
• آشنایی با مفاهیم یادگیری ماشینی
وظایف شغلی:
• طراحی، ساخت و نگهداری فریم‌ورک داده‌های بزرگ مانند Hadoop، Hive، Spark، Kafka
• تولید کدهای مؤثر و مقیاس‌پذیر بر اساس طراحی‌ها
• مدیریت، نگهداری و عیب‌یابی کلاسترهای داده
• ایجاد زیرساخت‌هایی برای دسترسی و تحلیل داده‌های بزرگ
• بهینه‌سازی و بازنگری فریم‌ورک‌ها و توابع برای افزایش کارایی
• تضمین کیفیت داده‌ها و دقت در پردازش آنها
• تضمین امنیت داده‌ها در تمام فرآیندهای پردازش و انتقال
• انتقال دانش به اعضای تیم و ارائه مستندات و دموهای کاربردی
الزامات شغلی:
• حداقل 3 سال تجربه کاری مرتبط در زمینه کلان داده
• تجربه عملی با تکنولوژی‌های حوزه کلان‌داده
• تسلط به SQL و کار با پایگاه‌داده‌های رابطه‌ای و NoSQL
• آشنایی با مفاهیم معماری زیرساخت‌های داده و مدل‌سازی داده
• آشنایی با ابزارهای علم داده مانند Pandas، Numpy، Scikit-learn
• توانایی حل مسئله، ارتباط مؤثر و تصمیم‌گیری دقیق
• آشنایی با ابزارهای امنیتی در زمینه پردازش داده‌های بزرگ (مزیت محسوب می‌شود)
مهارت‌های فردی:
• توانایی بالای کار تیمی و همکاری مؤثر با تیم‌های مختلف
• نظم و تعهد به زمان‌بندی و تحویل کار
• توجه به جزئیات و دقت در انجام وظایف
• مهارت‌های ارتباطی قوی برای انتقال اطلاعات و همکاری با اعضای تیم و سایر بخش‌ها
• توانایی مدیریت زمان و اولویت‌بندی درست کارها در پروژه‌های پیچیده

Special requirements: • Mastery of big data concepts and tools such as Hadoop, Spark, Hive
• Familiarity with the concepts of design, implementation, management and maintenance of the data lake (Data Lack)
• Mastery of the Python programming language and the ability to write scalable and optimal codes in Python Apache such as Flink and Airflow
• Familiarity with Unix-based environments
• Mastery of version control systems such as GitLab
• Familiarity with concepts and security tools in data processing and transfer
• Familiarity with machine learning concepts
Job duties:
• Design, build and maintain big data frameworks such as Hadoop, Hive, Spark, Kafka
• Produce effective and scalable codes based on designs
• Manage, maintain and troubleshoot clusters Data
• Creating infrastructures for accessing and analyzing big data
• Optimizing and revising frameworks and functions to increase efficiency
• Ensuring data quality and accuracy in their processing
• Ensuring data security in all processing and transmission processes
• Transferring knowledge to team members and providing documentation and practical demos
Job requirements:
• At least 3 years of relevant work experience in the field of big data
• Practical experience with macro technologies Data
• Proficiency in SQL and working with relational databases and NoSQL
• Familiarity with the concepts of data infrastructure architecture and data modeling
• Familiarity with data science tools such as Pandas, Numpy, Scikit-learn
• Ability to solve problems, effective communication and make accurate decisions
• Familiarity with security tools in the field of big data processing (considered an advantage)
Personal skills:
• High ability to work in a team and cooperate effectively with different teams
• and commitment to timing and delivery of work
• attention to detail and accuracy in performing tasks
• strong communication skills to transfer information and collaborate with team members and other departments
• ability to manage time and properly prioritize tasks in complex projects