پروژه پایتون + ( 66097 )

سلام ی کد دارم میخوام روش مالتی مودال برت که میتوانه ویژوال برت، پیکسل برت، ایمیج برت، وی ال برت و... باشه پیاده سازی بشه کد روی دیتاستNLMCXR که یک دیتاست پزشکی هست و به تولید گزارش پزشکی پرداخته کد باید به جواب برسه وقت ندارم اصلا زودتر خبر کنید پایتون نهایت یک هفته https://colab.research.google.com/drive/1io3S4XnfCxKEG318Ksu26nfa-ir9_ClU یک کد ران شده بدون خطا دارم که روی دیتاستNLMCXR که یک دیتاست پزشکی است کار کرده و به تولید زیر نویس برای این تصاویر رادیو گرافی میپردازه که گزارش ها همراه دیتاست پروژه هست و یادگیری مدل داخل این کد بر اساس دو روش یادگیری عمیق attention baseیا مکانیسم توجه و incoder decoder baseیا رمزگذار رمزگشا هست که مدل آموزش دیده شده روی این معماری ها و با bleu که یک معیار برای پردازش زبان طبیعی هست دقت کار سنجیده شده و شما با بررسی کد میتوانید خودتون خروجی کار را ببینید و با نحوه کار آشنا بشید در حالت کلی medical image captioning انجام دادیم اما چیزی که من از شما بعنوان مجری میخوام این هست که میخوام روی کد مدل زبانی چند وجهیbert (multimodal bert) که یکی از چندین مدل زبانی که در خانواده برت مالتی مودال شدن مثلvlbert, vilbert, visual bert, pixel bertو...پیاده سازی بشه که بتوانه دقت کار ما را بالا ببره و گزارش های پزشکی مرتبط تر را تولید کنه و فضایی ویژگی مناسب تری بدست بیاره در ادامه باید بگم خود معماری برت هم یک مدل زبانی دو جهته هست که ربط کلمات را از لحاظ لغوی و دستوری مشخص میکنه و توضیحات بیشتر خودتون مطالعه کنید اینم توضیحات کلی از قسمت ازتون میخوام کارهای که باید انجام بشه #taheri