TypeSafe AI, metin üretmeyen model Jev'i tanıttı: yazmıyor, karar veriyor

Yapay zeka laboratuvarı TypeSafe AI, iki yıllık gizli çalışmanın ardından 16 Eylül'de ortaya çıktı ve ilk modeli Jev'i tanıttı. Şirketin kurucusu ve genel müdürü, ChatGPT'nin arkasındaki RLHF ve InstructGPT yöntemlerini geliştiren ekipten Diogo Almeida (@CompleteSkeptic). TypeSafe, DCVC önculüğünde 40 milyon dolarlık tohum turu topladı.

Jev ne yapıyor

Jev, şirketin System One dediği yeni bir model türünün ilki. En çarpıcı özelliği: metin üretmiyor. Girdi olarak serbest biçimli bir durum ve önceden tanımlı bir seçenek kümesi alıyor; çıktı olarak da tip güvenli bir karar döndürüyor: evet/hayır olasılığı, listeden bir seçim ya da bir ölçekte puan. Her karar, kalibre edilmiş bir olasılık ve güven skoruyla geliyor. Şirketin tarifiyle bu, sınır zekasında bir fonksiyon çağrısı: serbest durum girer, tipli olasılıklı kararlar çıkar.

Çıktısı önceden tanımlı şemaya sıkıştığı için TypeSafe, modelin halüsinasyon yapamayacağını ve tip hatası yapmayacağını söylüyor. Eğitim yöntemine de RLCD, yani kalibre kararlar için pekiştirmeli öğrenme adını vermişler.

Dikkat: Halüsinasyon yapamaz güvencesi yalnızca çıktının yapısını kapsıyor. İzin verilen seçenekler arasından yanlış olanı seçmek hala mümkün; yani modelin doğru kararı verdiğini kendi verinizde doğrulamak gerekiyor.

Diğer modellerden farkı

Asıl kırılım, cevabı nasıl ürettiğinde. Bugünkü dil modelleri metni token token, sıralı üretir: yavaş, pahalı ve olmayan bir kaynağı uydurabilir. Jev ise tek geçişte, paralel olarak bir karar döndürüyor; olmayan bir dize üretemez, çünkü çıktı her zaman şemanın geçerli bir üyesi.

Almeida bunu tarihsel bir benzetmeyle anlatıyor: sıralı hesaplamayı paralelle değiştirmek, Transformer'ların RNN'leri geride bırakmasına benziyor. Bu aynı zamanda yavaş düşün diyen System 2 akıl yürütme modellerinden de ayrı bir yol: Jev, bir iş akışının içindeki milyonlarca küçük kararı, yani yönlendir, sınıflandır, yargıla, seç işlerini hızlı ve ucuz vermek için var; açık uçlu üretim için değil.

Fiyat, hız ve gösteriler

Fiyat iddiası dikkat çekici: girdi için milyon token başına 0,042 dolar (Almeida'nın deyimiyle milyar token 42 dolar), çıktı tokenları ise bedava, ölçmeye değmeyecek kadar ucuz. Şirket, System One biçimli sorularda uçtan uca yanıt suresini 70-500 milisaniye olarak veriyor; sınır dil modellerinde bunun 3-329 saniye olduğunu söylüyor. Iki gösteriyle anlatıyorlar: Jev gerçek zamanlı Doom oynuyor (saniyede yaklaşık 10 sorgu, saatte yaklaşık 7 dolar) ve bir Wikipedia sayfasından diğerine yalnızca bağlantılarla ilerleyen Wikirace yapıyor; ikincisi, yüzlerce ila binlerce seçenek arasından seçim yaparken halüsinasyon yapmamanın birleşik faydasını göstermek için.

Önemli çekince: Bu hız ve maliyet rakamları bağımsız doğrulanmadı. Karşılaştırma iş akışlarını TypeSafe'in kendisi kurdu ve referans yanıt olarak başka modellerin çıktılarını kullandı; bazı güçlü modeller testlerin dışında kaldı. Şirket, ekip yanlılığı olabileceğini kendi de kabul ediyor. Modelin mimarisi da açıklanmadı.

Neden Jev

İsim, 19. yüzyıl iktisatçısı William Stanley Jevons'tan ve onun paradoksundan geliyor: verim artınca kaynak kullanımı azalmaz, artar. TypeSafe'in bahsi de bu: zeka ucuzladıkça kullanım patlar. Almeida'ya göre Jev, yapay zeka temelli ekonomik devrimin en kısa yolu.

Kaynak: TypeSafe AI blogu, SiliconANGLE.