نموذج Prior Labs يتجاوز الحل الفائز في مسابقة Otto بإعدادات افتراضية
سجل TabPFN-3.5 نتيجة 0.375 في لوحة نتائج مسابقة Otto على Kaggle، متجاوزاً الحل الفائز لعام 2015 بإعدادات افتراضية.
أصدرت Prior Labs النسخة الجديدة من نموذجها الأساسي للبيانات الجدولية، TabPFN-3.5. يتنبأ النموذج على الجدول في مرور أمامي واحد، دون تدريب أو ضبط لكل مجموعة بيانات. وتفيد الشركة بحصوله على المركز الأول في 7 اختبارات مرجعية للبيانات الجدولية.
الأوزان المفتوحة تعمل محلياً لأغراض البحث والتقييم واستخدام Kaggle، أما التشغيل الإنتاجي فيتطلب واجهة برمجة التطبيقات (API) الخاصة بـ Prior Labs أو ترخيصاً تجارياً.
نتيجة مسابقة Otto
أُجريت مسابقة Otto Group Product Classification Challenge على Kaggle عام 2015، وشارك فيها 3505 فرق تتنافس على 10 آلاف دولار. صنّف المتسابقون المنتجات إلى 9 فئات باستخدام 93 خاصية عددية مُبهمة، وجرى التقييم بدالة log loss متعددة الفئات، حيث الأقل أفضل.
جاء الحل الفائز من Gilberto Titericz و Stanislav Semenov، وكلاهما احتل المرتبة الأولى عالمياً في تصنيف Kaggle grandmaster. وكان حلهما تجميعاً متعدد الطبقات من 36 نموذجاً مبنياً على خصائص مصممة يدوياً.
سعى Nick Erickson، المشارك في تطوير AutoGluon والباحث في Prior Labs، إلى تلك النتيجة لسنوات. ويقول إن AutoGluon حلّ في المركز 23 في ورقته البحثية لعام 2020، ثم بلغ AutoGluon 1.0 المركز 14 في 2023، ووصل AutoGluon 1.6 إلى المركز 9 في أغسطس 2026. وكان الشوط الأخير الأصعب: الانتقال من المركز 50 إلى 10 خفّض log loss من 0.41 إلى 0.40، بينما بلوغ 0.382 الفائزة احتاج 0.018 إضافية.
سجّل TabPFN-3.5 نتيجة 0.375 على لوحة النتائج الخاصة. ويقول Erickson إنه عمل على بيانات خام بإعدادات افتراضية، واستغرق نحو دقيقة على وحدة معالجة رسومية RTX PRO 6000. دُرّب النموذج مسبقاً على بيانات تركيبية فقط ولم يرَ بيانات Otto ولا أي مجموعة بيانات من Kaggle. وهناك دفتر Kaggle عام قابل لإعادة الإنتاج.
نتائج الاختبارات
يذكر التقرير الفني المركز الأول في TabArena و BeyondArena و STRABLE و MulTaBench و RelArena-α و TALENT و ScoringBench. لكن المتصدر ليس دائماً النموذج الأساسي: فـ TabPFN-3.5-Thinking يتصدر TabArena و BeyondArena و STRABLE و MulTaBench، في حين تأخذ نسخة أولية داخلية باسم TabPFN-Rel صدارة RelArena-α.
في TabArena، وهو اختبار حي يضم 51 مجموعة بيانات، يبلغ Thinking 1910 نقطة Elo، والنموذج الأساسي 1866 مقابل 1823 لـ TabFM+. وتقول Prior Labs إن النموذج الأساسي يتقدم على AutoGluon 1.6 extreme بفارق 130 نقطة Elo وفي خُمس الزمن. وفي BeyondArena الذي يغطي 142 مجموعة بيانات، يتقدم TabPFN-3.5 بنحو 150 نقطة Elo على المتصدر السابق، غير أن شبكات MLP المضبوطة والمجمّعة ما زالت متقدمة في الشرائح المجمّعة والزمنية وكبيرة الحجم.
حجم ذاكرة KV cache بقي قريباً من حجمه في TabPFN-3 رغم زيادة المعاملات نحو 4 أضعاف. تتساوى سرعة التنبؤات المخزّنة لصف واحد مع TabPFN-3، لكن على مجموعات التدريب الكبيرة يعمل النموذج الأساسي أبطأ بما يصل إلى الضعف.
لمزيد من التفاصيل راجع تقرير MarkTechPost.
