پروژه پایتون 99450

سلام وقتتون بخیر یه اگهی دیگه داشتم میخواستم ثبتش کنید تشکر Data chunking for a RAG/LLM system حدود 9 هزار مقاله پزشکی وجود داره که نیاز هستش chunking اون انجام بشه برای Pinecone. فایل‌ها به شکل markdown هستند و متادیتا هر چانک نیز باید تعریف بشه. لطفا در صورتی که تمایل داشتید، استراتژی چانکینگ خودتون رو هم ارسال کنید 🌹 نه نتیجه مهمه برام خروجی بهتره به شکل json باشه (چانکینگ و متادیتا باهم) زمان هم هرچه سریعتر بهتر کار برای پروداکشن هستش مهم نیست خروجی مهمه من فولدرها رو به شکل zip می‌فرستم و نتیجه json برام فرستاده بشه بله رایج هستش که با پایتون انجام بشه ولی نحوه انجامش برام فرقی نداره هرجور برنامه‌نویس راحت هستش