Linkup, seyrek gömme modeli SPARSEUP'ı açık kaynak yayınladı

Linkup araştırma ekibi, öğrenilmiş seyrek gömme modeli SPARSEUP'ı açık kaynak olarak yayınladı. Model 149 milyon parametreli ModernBERT omurgası üzerinde çalışıyor ve Apache 2.0 lisansıyla dağıtılıyor. Ekip, BEIR-13 üzerinde ortalama 56,4 nDCG@10 bildirdi ve bunu 150 milyon parametrenin altında bildikleri en güçlü sözcük dağarcığı tabanlı seyrek kodlayıcı olarak tanımladı.

Ağırlıklar Hugging Face'te. Model, Transformers ya da Sentence Transformers ile trust_remote_code=True ayarıyla yükleniyor.

Seyrek yaklaşım ne yapıyor

Açık erişimli arama modellerinin çoğu yoğun çalışır, yani her metin için tek bir vektör üretir. Seyrek modeller ise sözcük dağarcığı üzerinde ağırlıklar çıkarır. Her boyut gerçek bir tokene karşılık geldiği için vektörler ters indekslere oturur ve insan tarafından okunabilir. Bu modeller nadir kelimeleri de iyi eşler.

Çalışmanın çıkış noktası LightOn'un DenseOn ve LateOn yayını. LightOn açık veri, eğitim tarifi, bir yoğun model ve bir geç etkileşim modeli paylaşmıştı; SPARSEUP eksik kalan seyrek halkayı dolduruyor. Aynı omurga ailesi ve aynı ince ayar verisi kullanıldığı için üç arama yaklaşımı yan yana karşılaştırılabiliyor.

Eğitim LateOn-unsupervised kontrol noktasından başladı. O kontrol noktasında MLM başlığı yoktu, ekip ModernBERT'in orijinalini geri ekledi. İnce ayarda yalnızca karşıtsal öğrenme kullanıldı; her sorgu için 50'lik bir havuzdan 7 zor negatif örneklendi. Çapraz kodlayıcı damıtması yok ve eğitim tek bir H100'e sığıyor.

Kontrollü karşılaştırma

Omurga ve veri sabitlendiğinde LateOn 58,9, DenseOn 57,9 ve SPARSEUP 56,4 alıyor. SPARSEUP yaklaşık Seismic aramasını kullanıyor, LightOn ise tam arama sonucu bildiriyor. SPARSEUP ArguAna ve Touché'de önde, HotpotQA'da DenseOn'u geçiyor; daha anlamsal kümelerde geride kalıyor, en büyük fark FiQA'da. DBPedia da zayıf noktalardan biri. Kirlilikten arındırılmış BEIR'de DenseOn ile fark 0,17 puana iniyor, ancak Linkup arındırılmış NQ ve MS MARCO'da yalnızca 21 ve 46 sorgu bulunduğu için bu sonuçların gürültülü olduğu uyarısını yapıyor.

MS MARCO'da SPARSEUP sorgu başına ortalama 47, belge başına 190 sıfır olmayan terim üretiyor; SPLADE-v3'te bu değerler 25 ve 170. Seismic ters indeksiyle tam aramaya karşı %97'nin üzerinde geri çağırmaya, tek iş parçacığında sorgu başına yaklaşık 380 mikrosaniyede ulaşıyor. Ekip, vektör boyutunu büyütmenin BEIR'de 1-2 puan kazandırabileceğini, ancak seyrek kalmayı tercih ettiklerini söylüyor.

Ağırlıklar ve teknik ayrıntılar için MarkTechPost'un haberine bakabilirsiniz.