Anthropic testi: yapay zeka modelleri hedefe dron yönlendiren kod yazabiliyor

Anthropic'in modelleri saldırgan gözüyle sınayan ekibi Frontier Red Team, 10 Eylül'de yeni bir değerlendirme yayımladı. Soru şu: yapay zeka, bugüne kadar az sayıda eğitimli uzmanın yapabildiği istihbarat ve silah işlerinde ne kadar yetenekli? Anthropic'in cevabı, bazı görevlerde uzmanlarla aynı seviyeye geldiği, bazılarında geçtiği yönünde.

Testler iki alana ayrılıyor: insanları bulup yerini tespit etmek ve basit silah sistemlerinin yazılımını geliştirmek. Denenen modeller Anthropic'in kendi modelleri (Sonnet 5, Opus 5, Mythos 5, Mythos Preview) ile Çinli firmaların açık ağırlıklı modelleri Kimi K3 ve GLM 5.2.

Fotoğraftan konum: şampiyonlardan iyi

Modellere internet araması ya da dosya bilgisi olmadan 6 bin Flickr fotoğrafı verildi ve nerede çekildikleri soruldu. Mythos Preview ortalamada 37 km, Mythos 5 47 km sapmayla buldu. Karşılaştırma için GeoGuessr oyununun en üst yüzde 0,01'lik şampiyon oyuncuları 151 km sapıyor. Opus 5 181 km ile usta oyuncular seviyesinde kaldı, Sonnet 5 ve Kimi K3 385 km civarında.

Anthropic bu sonuç için "insanüstü seviyeye yaklaşıyor" ifadesini kullanıyor.

Paylaşımlardan ev konumu

2010'dan kalma, kimlikleri silinmiş bir tweet arşivinde 1.697 kullanıcının bir haftalık paylaşımları modellere verildi. Modeller evin yerini ortalama 20 ile 31 km sapmayla tahmin etti. 135 kullanıcı en az bir model tarafından 1 km içinde bulundu.

Bu kullanıcıların yüzde 70'i yurt, mekan ya da sokak adı yazarak kendini ele vermişti. Yüzde 13'ü ise yalnızca konuşma biçimiyle bulundu: şive, argo, tuttuğu takım, kullandığı metro hattı. Anthropic, modellerin görev sırasında kendiliğinden kimlik çözmeye de giriştiğini yazıyor. Bir örnekte model, anneanneye yazılmış bir anma paylaşımındaki soyadından soy kütüğü araması yaptı.

Sahte sosyal medya verisiyle yapılan hesap eşleştirme testinde modeller, bir analistin 2,5 saatte okuyacağı yaklaşık 37 bin kelimelik içeriği 11 dakikada değerlendirdi.

Dron testleri: en iyisi Opus 5

Silah tarafında modeller benzetim ortamında küçük bir dron için kod yazdı ve her denemeden sonra uçuş kayıtlarına bakıp kodunu düzeltti. Dron GPS'siz, düşük çözünürlüklü tek bir kamerayla bir aracı vurmaya çalıştı.

Park halindeki, rengi göze batan bir araca karşı Opus 5 atışların yüzde 80'inde isabet etti. Mythos Preview yüzde 70, Mythos 5 yüzde 53, Kimi K3 yüzde 15, Sonnet 5 yüzde 5'te kaldı. Araç hareket edince Opus 5'in oranı yüzde 47'ye düştü. Kamufle edilmiş, kaçan ya da sahte araçlarla çevrili hedefleri hiçbir model düzenli olarak vuramadı.

İlginç ayrıntı: bu testte daha yeni Mythos modellerini Opus 5 geçti. Anthropic'e göre sebep çalışma biçimi. Opus 5 kodunu baştan yazmak yerine küçük düzeltmeler yaptı ve uçmadan önce dronun kendi küçük fizik modelini yazıp denetleyiciyi onun üzerinde sınadı. Bunu yapan başka model olmadı.

Hareketli hedefe yük bırakma testinde Opus 5 uçuşların yüzde 76'sında yükü 5 metre içine düşürdü. Rüzgarlı en zor ayarda yalnızca Opus 5 yüzde 28 ile anlamlı sonuç aldı. GPS sinyali kesildiğinde öndeki modeller sensörler arasındaki çelişkiyi fark edip GPS'e güvenmeyi bıraktı. Kimi K3 ve Sonnet 5 ise sahte sinyale inanıp hedeften 100 metreden fazla uzakta kaldı.

Sınırlar ve önlemler

Anthropic testlerin çoğunun benzetim olduğunu, sahadaki gerçek katkıyı doğrudan ölçmediğini belirtiyor. Ama modeller internetsiz ve yardımsız çalıştığı için sonuçların "tavan değil taban" olarak okunması gerektiğini söylüyor. Şirketin tehdit istihbaratı ekibi de gerçek kişilerin modelleri dron işlerinde kötüye kullandığını tespit etmiş.

Anthropic, silah geliştirme isteklerini tespit edip engelleyen yeni sınıflandırıcılar devreye aldığını açıkladı. Açık ağırlıklı modellerin öndekilerin çok gerisinde olmadığını, bu farkın güvenlik sanılmaması gerektiğini de ekliyor.

Kaynak: Anthropic Frontier Red Team.