بهینه سازی سفارش‌دهی از چند تأمین‌کننده با DP,RL

هدف این پروژه، طراحی، پیاده‌سازی و مقایسه سیاست‌های بهینه سفارش‌دهی در یک سیستم چندمرحله‌ای با چند تأمین‌کننده است. مسئله با رویکرد فرایند تصمیم‌گیری مارکوف (MDP) مدل‌سازی شده و حل آن از طریق روش‌های زیر انجام می‌شود: • برنامه‌ریزی پویای بازگشت به عقب (Backward Dynamic Programming) • برنامه‌ریزی پویا با الگوریتم تکرار ارزش (Value Iteration) • یادگیری تقویتی با الگوریتم Q-Learning هدف نهایی، کمینه‌سازی مجموع هزینه‌ها (هزینه سفارش‌دهی و هزینه نگهداری موجودی) در پایان افق برنامه‌ریزی (هر اپیزود) است. دامنه و مفروضات مسئله • حالت‌ها (States)، اقدامات (Actions) و تابع پاداش (Reward) مشخص هستند. • در صورت تشخیص فنی کارلنسر و با هماهنگی قبلی، اصلاحات منطقی و ضروری در تعریف آن‌ها قابل انجام است (نه بازطراحی کامل مسئله). • مدل باید یاد بگیرد: o در هر دوره چه مقدار سفارش ثبت شود o سهم هر تأمین‌کننده از کل سفارش چگونه تخصیص یابد به‌گونه‌ای که هزینه کل در انتهای افق برنامه‌ریزی حداقل شود. خروجی‌های مورد انتظار خروجی پروژه باید شامل موارد زیر باشد: • کد کامل و اجراپذیر ( Python ) • جداول و نمودارهای مقایسه‌ای شامل: o مقایسه هزینه کل بین روش‌ها o نسبت تخصیص سفارش به تأمین‌کنندگان در دوره‌های مختلف o جدول Q و روند همگرایی الگوریتم Q-Learning o جداول تحلیل حساسیت نسبت به پارامترهای کلیدی در هر روش • توضیح شفاف منطق مدل و نتایج به‌دست‌آمده تعامل و نحوه انجام پروژه • مدت زمان اجرای پروژه: 2 تا 4 روز • در طول انجام پروژه: o تعامل و مشاوره برای اطمینان از درستی داده‌ها و محیط مدل o اصلاحات جزئی در صورت نیاز برای جلوگیری از دوباره‌کاری o توضیح و آموزش کد نوشته‌شده به‌صورت قابل فهم و مستند نکات مهم • این پروژه تحقیقاتی و تخصصی است. • لطفاً فقط افرادی که تجربه عملی در برنامه‌ریزی پویا، MDP و یادگیری تقویتی دارند پیام ارسال کنند. • در صورت نیاز به تغییر دامنه پروژه یا توضیحات بسیار جزئی‌تر، پروژه باید به‌صورت تمام‌وقت (Full Project) تعریف شود که قبل از شروع هماهنگ خواهد شد. • به دلیل محدودیت زمانی، انتخاب متخصص با تجربه برای من بسیار مهم است.