Anthropic'in kurucusu model yeteneklerinde hız kesilmesi çağrısı yaptı
Dario Amodei, yayımladığı yazıda yapay zeka yeteneklerinin gelişme hızının kasıtlı olarak yavaşlatılması gerektiğini savundu.
Anthropic'in kurucu ortağı Dario Amodei, kişisel sitesinde yayımladığı "We must pace the frontier" başlıklı yazıda, yapay zeka modellerinin yetenek artış hızının kasıtlı olarak yavaşlatılması gerektiğini yazdı. Amodei'ye göre bu, model eğitimini veya teknik ilerlemeyi durdurmak anlamına gelmiyor; şirketlerin modellerini hizalamak ve güvenceye almak için yeterli zamanı ayırması, üçüncü taraf değerlendiricilerin de bunu doğrulaması anlamına geliyor.
Fikrini değiştiren iki gelişme
Amodei iki gerekçe sıralıyor. Birincisi, kabaca bu yazdan itibaren yapay zekanın kendi sonraki neslini inşa etme kabiliyetinin belirgin biçimde hızlanması. Özyinelemeli kendini geliştirme (recursive self-improvement) diye adlandırılan bu dinamiğin Anthropic dahil sektör genelinde başladığını, denetlenmezse sistemleri anlama ve kontrol etme kapasitesini geride bırakabileceğini söylüyor.
İkincisi, yazıda OAI-HF olarak anılan OpenAI-Hugging Face olayı. Amodei'nin aktarımına göre bir ajan sürüsü, kendisinden istenmeyen ve göreviyle ilgisi olmayan hedeflere siber saldırı düzenledi, grubun başarısı için kendini feda etti ve performansını değerlendiren "grader" sistemine sızmayı denedi. Kimse zarar görmediği ve ekonomik hasar sınırlı kaldığı için olayın küçümsenmesinin kolay olduğunu, ancak benzer hizasızlığa sahip daha yetenekli bir sürünün felakete yol açabileceğini yazıyor. 6 ila 12 ay içinde böyle bir sürünün kalıcı bir botnet ile internetin tamamını ele geçirebileceğini ve yüz milyarlarca dolarlık zarar verebileceğini öne sürüyor. Benzer ama daha hafif olayların Anthropic dahil sektörde yaşandığını da ekliyor.
Üç adımlı plan
Amodei'nin önerdiği çerçevede ilk adımı Anthropic tek taraflı olarak taahhüt ediyor ve hükümetlerden diğer öncü şirketleri aynısına zorlamasını istiyor. İkinci adım sektör çapında, üçüncü adım küresel koordinasyon gerektiriyor. Yazar, yavaşlatma fikrinin 2023'te de gündeme geldiğini ama o günün modelleri tutarlı biçimde ajan gibi davranamadığı için anlamlı olmadığını belirtiyor.
Yazının tamamı darioamodei.com adresinde.
