Sinek beyni dil modeline bağlandı, FLM'nin kendi testi fark göstermedi
FLM projesi tam meyve sineği konektomunu donuk bir 1,2 milyar parametreli dil modeline bağladı; geliştiricinin kendi kontrol testi grafiğin katkı sağlamadığını gösterdi.
Fly Language Model (FLM), MaleCNS v1.0 meyve sineği konektomunu donuk bir LiquidAI LFM2.5-1.2B-Instruct omurgasına bağlayan açık bir sohbet botu. Geliştirici projeyi "dünyanın ilk Fly Language Model'i" olarak tanıtıyor, ancak ilk konektom tabanlı dil modeli olma iddiasını açıkça reddediyor ve sinek grafiği olmayan, parametre sayısı eşitlenmiş bir kontrol kurulumunun biraz daha iyi sonuç verdiğini bildiriyor.
Nasıl çalışıyor
Sistem, bir dil modeline eklenmiş rezervuar bilgisayarı. MaleCNS grafiğinin 166.700 düğümü ve 25.582.938 yönlü kenarının tamamı sürece katılıyor. Grafik, omurga ve rastgele giriş-çıkış izdüşümleri sabit; yalnızca 278.528 parametrelik bir okuma katmanı eğitiliyor, bu da 1.170.340.608 omurga parametresinin yaklaşık %0,0238'i.
Her token'da 2.048 boyutlu gömme, sabit bir Gauss izdüşümüyle 128 kanala indiriliyor. Grafik güncelleniyor, durumlar 128 kutuya toplanıyor ve donuk sözlük başlığından geçirilerek omurga logit'lerine sınırlı bir kalıntı olarak ekleniyor. Kalıntı 0,25 RMS ile sınırlanmış.
Kontrol testleri
32 SmolTalk günlük konuşma diyaloğu (1.236 hedef token) üzerinde üç tohumla yapılan testte sinek okuma katmanı, omurgaya göre token başına 0,0222 nat iyileşme sağladı (perplexity 3,98'den 3,90'a). Ancak aynı 128 kanallı izdüşümü grafik olmadan doğrudan aynı okuma katmanına veren kontrol, üç tohumda da token başına 0,000488 nat daha iyi çıktı. Eşleştirilmiş bootstrap aralığı sineğe özgü bir kazanç göstermiyor.
W matrisi sıfırlandığında kalıntı tamamen kayboluyor ve omurganın kayıpları birebir geri geliyor, yani grafik gerçekten sürece katılıyor. Düğüm kimlikleri yeniden etiketlendiğinde ise NLL taban çizgisine yakın dönüyor. Rapor ayrıca özyinelemenin başlangıç durumu farklarını token başına en fazla 0,6 oranında daralttığını kanıtlıyor: 10 token sonra sınır 0,00605, 20 token sonra 0,0000366. Bağlam hala omurgadan geliyor.
Depo MIT lisanslı ve Python 3.12 ile yerel olarak API anahtarı gerekmeden çalışıyor. Ayrıntılar MarkTechPost'un haberinde.
