همفکری و کمک در (کار با api برای گرفتن متادیتا براساس ایدی مقالات)

سلام. من یک دیتاست 200000 تایی دارم که البته دیتای train این تعداد هست. می خوام که براساس ایدی های این دیتاست، عناوین مقالات را از arxiv بگیرم که محدودیت مواجه میشم و خب در واقع سرعت پردازش هم خیلی کند پیش میره. خودم تمام کدهارو نوشتم و دارم عناوین و میگیرم فقط نیاز به همفکری یک شخص دارم تا بتونم این اتفاق سریعتر پیش بره. دیتاهارو به فایلهای 5000تایی تقسیم کردم تا به محدودیت مواجه نشم. میخوام سرعت کار بیشتر بشه. البته دقت این که دقیقا title ها درست باشند برای من خیلی مهمه.