کنترل تطبیقی مسیر حرکت نانوربات هوشمند با یادگیری عمیق

عنوان پروژه: «بهینه‌سازی چندهدفه و کنترل تطبیقی مسیر حرکت نانوربات هوشمند با یادگیری عمیق تقویتی برای دارورسانی هدفمند در سامانه عروقی بدن انسان» 🧠 دامنه مهارت‌های موردنیاز 1. مبانی یادگیری ماشین و یادگیری عمیق درک مفاهیم پایه: داده، ویژگی‌ها (features)، برازش مدل، overfitting و underfitting، regularization. روش‌های کلاسیک ML: رگرسیون خطی/لجستیک، شبکه‌های عصبی پایه، KNN، درخت تصمیم و جنگل تصادفی (برای درک مقایسه با DRL). مبانی شبکه‌های عصبی عمیق (Deep Learning): forward pass و backpropagation بهینه‌سازی با GD/Adam توابع فعال‌سازی (ReLU، Sigmoid…) Batch normalization و Dropout کتابخانه‌ها: PyTorch یا TensorFlow/Keras (با تاکید بر PyTorch چون در DRL بیشتر استفاده می‌شود). 2. مبانی یادگیری تقویتی (Reinforcement Learning) فرمول‌بندی MDP (Markov Decision Process): تعریف state, action, reward مفهوم policy و value function تخفیف پاداش‌ها (discount factor γ) سیاست‌ها و الگوریتم‌های پایه: Q-Learning، SARSA الگوریتم‌های policy-based (REINFORCE) ترکیب با Deep Learning → DRL: DQN (Deep Q-Network) Actor-Critic پایه الگوریتم‌های پیشرفته (SAC، PPO، TD3) 3. مهارت‌های ریاضی موردنیاز جبر خطی: ماتریس، بردار، ضرب ماتریس‌ها، eigenvalues (برای فهم عملگرهای شبکه‌های عصبی و تبدیل‌ها). احتمال و آمار: توزیع‌ها، امید ریاضی، واریانس، قانون احتمال شرطی. محاسبات عددی: کار با توابع گرادیان، مشتقات جزئی، گرادیان‌زدایی. این بخش «زیر کاپوت» DRL رو بهت نشون میده؛ باعث میشه فقط کد دیگران رو اجرا نکنی بلکه اصلاح و بهینه‌سازی هم بکنی. 4. ابزارها و محیط‌های شبیه‌سازی Gymnasium (نسخه پیشرفته OpenAI Gym) برای مدیریت محیط و عامل. شبیه‌سازهای فیزیکی/CFD (مثل PyBullet, MuJoCo, یا اتصال به ANSYS/COMSOL از طریق API). آشنایی با interfacing بین کد Python و شبیه‌ساز خارجی (مثلاً با REST API یا socket). 5. مهارت‌های بهینه‌سازی و تنظیم مدل (Hyperparameter Tuning) یادگیری روش systematic برای پیدا کردن بهترین مقدار: learning rate, batch size, discount factor, replay buffer size، و معماری شبکه. کار با ابزارهای logging و tracking مثل Weights & Biases یا TensorBoard. 6. مدیریت داده و مهندسی نرم‌افزار Python پیشرفته کتابخانه‌های NumPy, Pandas برای پردازش داده‌ها Matplotlib/Seaborn برای تحلیل نتایج آزمایش مدیریت ورژن کد با Git 7. مهارت‌های تکمیلی برای پروژه‌های DRL سطح پیشرفته Sim-to-Real Transfer: تکنیک‌های domain randomization، GAN-based domain adaptation. بهینه‌سازی چندهدفه (Multi-objective optimization) و کار با توابع پاداش پیچیده. معماری‌های شبکه سفارشی (CNN برای ورودی تصویری، MLP برای داده‌های وضعیت، RNN/LSTM برای محیط‌های با حافظه).