پیاده سازی معماری میکروسرویس باkubernetes,terraform,rabbitmq

یک پلتفرم برای مدیریت ابزار های ai ، با قابلیت scale کردن مدل ها ، مدیریت زیرساخت و منابع و مانیتورینگ پیشرفته ، کنترل دسترسی و اضافه یا حذف کردن مدل ها مدل های ai با یک فایل مانیفست به صورت کانتینر شده وجود دارند. در فایل مانیفست مدل اطلاعات زیر موجود است. - اطلاعات ورودی -اطلاعات درباره نوع خروجی -پروفایل مدل شامل نیازمندی های رم، گرافیک، سی پی یو - قرار داد api (ادرس api , متد ارسال) داده ها از سمت شرکت با فرمت مناسب به صورت json ارسال خواهند شد که شامل -target --model_id -input --type-one --type-two -source --ip --response-port --token خواهد بود. اورکستراتور پس از اتوریزیشن توکن ، درخواست را در صف rabbitmq مدل ثبت کرده یک job_id به source میدهد. مدل داده خود را از صف دریافت کرده و خروجی را پس از پردازش در یک nosql ذخیره میکند تا توسط job_id کاربر دریافت شود. اورکستارتور بر اساس صف هر مدل و منابع مورد نیاز ، تعداد کانتینر را در کلاستر مدیریت میکند.