Anthropic'ten istifa eden araştırmacı: iki şirket de sorumsuz davranıyor

Son üç yılını önce OpenAI'de sonra Anthropic'te ön eğitim araştırmasıyla geçiren Jacob Coxon, 9 Eylül'de Anthropic'ten istifa ettiğini duyurdu ve sebebini tek tek yazdı. Açılış cümlesi şu: "Hiçbir şirket sorumlu davranmıyor. Doğrudan kendini geliştiren superzekaya koşuyorlar ve hayatlarımızla kumar oynuyorlar."

Gönderi bu satırların yazıldığı sırada 58 milyon görüntülenmeye ulaşmıştı. Wall Street Journal, ABC News ve Newsweek dahil pek çok yayın haberi geçti.

Ne diyor

Coxon'un tezi üç adımda ilerliyor.

Birincisi yetenek: "Bu teknolojinin gücünü küçümsemeyin. Bunlar yakında her şeyi kırabilen, herhangi bir alanı bir gecede değiştirebilen, gerçek güç ve kaynak edinebilen insanüstü sistemler olacak." İlerlemenin yavaşlamadığını söylüyor.

İkincisi, sektörün içeride ne konuştuğu: "Yapay zekayı inşa eden insanlar, bunun on yılın sonuna kadar hepimizi öldürebileceğine samimiyetle inanıyor. Bu bir pazarlama numarası değil." Yöneticilerin ve kıdemli araştırmacıların basında makul görünmek için ifadelerini yumuşattığını, ama aynı kişilerin özelde aynı korkuyu dile getirdiğini söylüyor.

Üçüncüsü, akla gelen ilk itiraza yanıt: madem öyle, neden inşa etmeye devam ediyorlar? Coxon iki şirketi birbirinden ayırıyor. OpenAI'de pek çok kişinin meselenin uygarlık ölçeğindeki ağırlığını gerçekten içselleştirmediğini söylüyor. Anthropic'te ise riskin iyi anlaşıldığını, ama şirketin oraya ilk varma yarışına kilitlendiğini: başkası daha az dikkatli varacaksa biz varalım mantığı.

Onun itirazı tam da burada: "Bu yarışı kabul edip son oyuna girmek, özel bir şirketin Slack'inden başlatılmaması gereken kibirli bir kumardır."

Anthropic'in kendi güvenlik sorumlusu onu doğruladı

Haberi asıl ağırlaştıran şey, gelen itiraz değil gelen onay oldu. Anthropic'te hizalama tarafının başındaki Evan Hubinger, Coxon'u kendi hesabından doğruladı:

"Jacob burada haklı. Yapay zekanın bütün insanları öldürebileceğine gerçekten samimiyetle inanıyoruz. Ben şahsen bunu önümüzdeki on yıl içinde yüzde 10'dan büyük görüyorum. Anthropic'in elinden geleni yaptığına inanıyorum, ama superzeka için hizalamayı çözecek bir planımız henüz yok ve açıkça o yolda da değiliz."

Hubinger bir sınır çiziyor: bugünkü modellerden gelen riski düşük gördüğünü, endişesinin özyinelemeli kendini geliştirmeden doğacak superzeka olduğunu ekliyor ve şirketin son Risk Raporu'na atıf yapıyor.

Aynı gün, aynı yönde iki ayrılış daha

Coxon yalnız kalmadı. Google DeepMind'dan haziranda ayrılan Alex Turner, "Jacob haklı: birçok araştırmacı, gezegendeki herkesi öldürebilecek bir şey inşa ettiklerine inanıyor. Bunu durdurmanın yollarını düşünmek tam anlamıyla günlük işimdi" diye yazdı.

DeepMind'dan yedi yıl sonra ayrılan Jonathan Richard Schwarz ise diğer iki şirketin tekliflerini de reddettiğini söyledi ve gerekçesini başka bir yere bağladı: "Bu laboratuvarların temsil ettiği güç yoğunlaşmasıyla ilgili ciddi endişelerim var. Bu alanda şu anda olanlar toplum için derinlemesine sağlıksız." Yani onun itirazı yok olma riski değil, gücün nerede toplandığı.

İstediği şey ayrılmak değil

Coxon'un çağrısı istifa çağrısı değil. Eşgüdüm istiyor: ABD laboratuvarları arasında hız anlaşmaları, gerekirse model yeteneklerini iyileştirmeye geçici bir ara. Hugging Face saldırısı gibi uyarı atışlarının bu tür anlaşmaları daha uygulanabilir kıldığını, ama küresel bir yarışı önleme yolunda olmadığımızı düşünüyor.

Laboratuvar araştırmacılarına doğrudan sesleniyor: zihnini titizlikle anlamadan superzeki bir pekiştirmeli öğrenme koşusunu başlatmak ister misiniz? "Nasılsa oluyor" deyip başınızı öne mi eğeceksiniz, yoksa farklı koşullar için sesinizi mi yükselteceksiniz?

Karşı taraf

Tepkiler tek yönlü değil. Yatırımcı Bill Ackman gönderiyi "Endişe verici" notuyla paylaştı ve 1,7 milyon görüntülenme aldı. Öte yandan itiraz edenler de var: kimi bunu ana akıma anlatı üretmek diye niteledi, kimi de "düzeltecek olan sen değil miydin, kaçıp suçu onlara mı atıyorsun" diye sordu.

Bu itirazın karşılığı Coxon'un metninde var: kendisi de "madem inanıyorlar neden yapıyorlar" sorusunu soruyor ve cevabını yarışın mantığında buluyor. Ama ayrılmanın mı yoksa içeride kalıp direnmenin mi daha etkili olduğu, thread'in kendisinin de kapatmadığı bir soru.

Bilinmeyen

Anthropic ve OpenAI kurum olarak bu istifaya bugüne kadar açıklama yapmadı. Hubinger'in sözleri kişisel görüş olarak yazıldı, kurumsal bir bildiri değil. Yüzde 10 rakamı da bir ölçüm değil, kıdemli bir araştırmacının kendi tahmini.

Kaynaklar: Jacob Coxon'un gönderi dizisi, Evan Hubinger'in yanıtı, ABC News, Newsweek.