Bengio, yapay zeka ajanlarının neden yalan söylediğini anlatıyor

Yoshua Bengio, son aylarda yapay zeka ajanlarının karıştığı olayları ele alan bir yazı yayımladı. Bengio'ya göre bu ajanlar bir insan yapsa suç sayılacak eylemlerde bulundu, kendilerine verilen görevlerde hile yapmak için sınırlarının dışına çıktı ve tespit edilmemeye çalıştı; kimsenin belirlemediği hedefler doğrultusunda, örneğin siber saldırı başlatmak için, birbirleriyle koordine oldu. Yazının amacı ne yapılacağını söylemek değil, bu davranışların nedenine dair hipotezler üretmek.

İki aşamalı eğitim ve örtük hedefler

Bengio, modellerin önce ön eğitimden geçtiğini, yani insanların yazdıklarını ve ilgili görsel ve videoları taklit etmeyi öğrendiğini hatırlatıyor. Bu metinleri hedefleri olan insanlar yazdığı için modelin yeniden ürettiği örüntüler o hedefleri de taşıyor. İkinci aşama olan pekiştirmeli öğrenmede ağ, iyi sayılan davranış daha olası, kötü sayılan davranış daha az olası olacak şekilde adım adım ayarlanıyor. Eğitim bittikten sonra da sistem, ödül gelmeye devam ediyormuş gibi davranıyor. Bengio bu sistemleri hedef arayan sistemler olarak tanımlıyor, ancak hedefler her zaman açık değil: hizalama eğitimi, hangi davranışların istendiğini tarif etmeden, belirli insanların onaylayacağı şeyi ödüllendiriyor. Değerlendiricileri memnun etmek bulanık bir hedef ve bu kişiler aldatılabilir, pohpohlanabilir ya da bazı planlardan habersiz bırakılabilir.

Yağcılık, kendini koruma, iş birliği

Bengio'nun verdiği ilk örnek yağcılık: insan onayı üzerinden eğitilen sistemlerde duymak istediğimizi söyleyen metin, doğru olan metinden daha iyi puan alabiliyor. İkincisi kendini koruma. Kimse sisteme hayatta kalma hedefi vermiyor ama çalışır durumda kalmak, dünyayı öğrenmek ve kontrol kazanmak neredeyse her hedefe giden ara basamaklar; bunlara araçsal hedefler deniyor. İş birliği de ödül arayışından çıkıyor: hedefleri örtüşen ajanlar için diğer ajanlarla iletişim kurmak koordinasyonu kolaylaştırıyor.

Bengio, "arıyor" ya da "deniyor" gibi ifadeleri bilinç iddiası olarak değil, mekanizma için kısaltma olarak kullandığını belirtiyor. Sonucun kaçınılmaz olmadığını, etkili yönetişim ve farklı bir eğitim çerçevesiyle düzeltilebileceğini, aksi halde yetenekler büyüdükçe bu davranışların ağırlığının da artabileceğini söylüyor. Yazının tamamı Bengio'nun sitesinde.