Prior Labs modeli 2015 Kaggle yarışmasının birincisini varsayılan ayarlarla geçti

Prior Labs, tablo verileri için geliştirdiği temel modelin yeni sürümünü, TabPFN-3.5'i yayınladı. Model tahmini tek bir ileri geçişte yapıyor; her veri kümesi için ayrı eğitim ya da ayar gerektirmiyor. Şirket, 7 tablo karşılaştırmasında birinci sıraya yerleştiğini bildiriyor.

Ağırlıklar yerel olarak araştırma, değerlendirme ve Kaggle kullanımına açık. Üretimde kullanmak içinse Prior Labs'ın API'si ya da ticari lisans gerekiyor.

Otto yarışmasındaki skor

Otto Group Product Classification Challenge 2015'te Kaggle'da düzenlendi. 10.000 dolar için 3.505 takım yarıştı; katılımcılar 93 gizlenmiş sayım özniteliğini kullanarak ürünleri 9 kategoriye ayırdı. Değerlendirme çok sınıflı log loss ile yapıldı, düşük olan iyi sayılıyor.

Yarışmayı Gilberto Titericz ve Stanislav Semenov kazandı. İkisi de Kaggle grandmaster sıralamasında dünya birinciliğine yükselmiş isimler. Kazanan çözüm, elle üretilmiş özniteliklere dayanan 36 modelli çok katmanlı bir yığındı.

AutoGluon'un ortak yaratıcısı ve Prior Labs araştırmacısı Nick Erickson bu skoru yıllarca kovaladı. Erickson'a göre AutoGluon 2020 makalesinde 23. sırada kaldı, AutoGluon 1.0 2023'te 14. sıraya, AutoGluon 1.6 ise Ağustos 2026'da 9. sıraya çıktı. Son bölüm en zoru oldu: 50. sıradan 10. sıraya çıkmak log loss'u 0,41'den 0,40'a indirdi; kazanan 0,382'ye ulaşmak ise 0,018 daha gerektiriyordu.

TabPFN-3.5 özel skor tablosunda 0,375 aldı. Erickson, modelin ham veriyle ve varsayılan ayarlarla çalıştığını, bir RTX PRO 6000 GPU'da yaklaşık bir dakika sürdüğünü söylüyor. Model yalnızca sentetik veriyle ön eğitildi, Otto veya başka bir Kaggle veri kümesini hiç görmedi. Tekrarlanabilir bir Kaggle not defteri herkese açık.

Karşılaştırma sonuçları

Teknik rapor TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT ve ScoringBench'te birincilik bildiriyor. Bunların bir kısmında öne çıkan sürüm temel model değil: TabArena, BeyondArena, STRABLE ve MulTaBench'te TabPFN-3.5-Thinking birinci, RelArena-α'da ise dahili bir TabPFN-Rel önizlemesi.

51 veri kümesinden oluşan TabArena'da Thinking 1910 Elo'ya ulaşıyor. Temel model 1866 alıyor, TabFM+ 1823'te kalıyor. Prior Labs, temel modelin AutoGluon 1.6 extreme'i beşte bir sürede 130 Elo geçtiğini belirtiyor. 142 veri kümesini kapsayan BeyondArena'da fark önceki lidere göre yaklaşık 150 Elo; ancak gruplanmış, zamansal ve büyük veri dilimlerinde ayarlanmış ve topluluk haline getirilmiş MLP'ler önde kalıyor.

KV önbelleği, parametre sayısı yaklaşık 4 kat artmasına karşın TabPFN-3 ile benzer boyutta. Önbelleğe alınmış tek satır tahminlerinde hız aynı; büyük eğitim kümelerinde temel model TabPFN-3'ten 2 kata kadar yavaş çalışıyor.

Ayrıntılar için MarkTechPost'un haberine bakabilirsiniz.