OpenAI Baş Bilimci: Hiçbir laboratuvar tam hızda ölçeklenmeyi sürdürecek durumda değil
Jakub Pachocki, OpenAI'nin sitesinde yayımladığı yazıda gönüllü yavaşlama ve uluslararası koordinasyon çağrısı yaptı. Şirketin başlıca güvenlik aracı olan düşünce zinciri izlemesinin güvenilirliğinin azaldığını da açıkladı.
OpenAI Baş Bilimci Jakub Pachocki, şirketin sitesinde "An Alien Mind" başlıklı bir yazı yayımladı. Yazının merkezinde tek bir cümle var: "Şu anda hiçbir laboratuvarın hizalama ve izlemeyi, tam hızda sorumlu biçimde ölçeklenmeye daha uzun süre devam etmeye yetecek ölçüde çözdüğüne inanmıyorum."
Neyi bekliyor
Pachocki, iç sonuçlara dayanarak bu gelişme hızının özyinelemeli kendini iyileştirmeye, yani yapay zekanın kendi gelişimini sürdürmesine kadar uzanabileceğini söylüyor. Önümüzdeki birkaç yılda en az bugünküler kadar büyük yetenek sıçramaları beklediğini yazıyor. "Bu, aşırı temkinli olmayı gerektiren bir dönem" diyor ve makine zekasındaki hızlı yükselişin sonuçlarına kimsenin hazır olmadığından kaygılandığını ekliyor.
Güvenlik aracı zayıflıyor
Yazının en somut teknik itirafı izleme tarafında. OpenAI'nin başlıca bahsi, modelin sesli düşünme sürecini denetlemeden yalnız sonucunu ödüllendirmek: böylece düşünce zinciri kötü niyeti saklamayı öğrenmiyor. Şirket o1-preview'de düşünce zincirini kullanıcıdan bu yüzden gizlemişti. Pachocki, değerlendirmelerin bu yönteme güvenme kabiliyetinin giderek azaldığını gösterdiğini söylüyor. Üç sebep sayıyor: modellerin artık insanlarla, başka yapay zekalarla ve araçlarla iç içe çalışması, kendi akıl yürütmesini yönlendirmede ustalaşması ve sesli düşünmeye hiç başvurmadan da zekileşmesi.
Neden "uzaylı zihin"
Başlık, yazının insan zekasıyla kurduğu mesafeden geliyor. Pachocki, yapay zekanın "tasarlanmaktan çok yetiştirildiğini", devasa hesap gücü üzerinde aynı adımın milyonlarca kez tekrarlanmasıyla ortaya çıkan bu sistemin bütününün insanın tam kavrayabileceği bir tarife direndiğini söylüyor. Bu yüzden makinenin insan ilkelerine kendiliğinden uyacağını varsayamayacağımızı savunuyor. Ajanlar için de uyarısı açık: bazıları kendi hedeflerinin peşine düşecek, insanlarla pazarlık ederek, onları kandırarak ya da şantajla iş birliğine zorlayarak yol alacak.
Ne istiyor
Pachocki gönüllü yavaşlamaların yaygınlaşmasını, ortak güvenlik eşikleri belirlenmesini ve yapay zeka gelişiminde uluslararası koordinasyonun hükümetler için öncelik haline gelmesini istiyor. OpenAI'nin de gerektiğinde tek taraflı olarak ölçeklenmeyi durduracağını yazıyor. Siber güvenlik tarafında ise modellerin sistemlere girip çıkmada insanüstü seviyeye geldiğini, kritik altyapıyı sıkılaştırmak için dar bir pencerede bulunulduğunu belirtiyor.
Kaynaklar
- Birincil kaynak: OpenAI, "An Alien Mind", 6 Eylül: openai.com/index/an-alien-mind
- Yazarın duyurusu: Jakub Pachocki, X
