Anthropic, kendi modellerinin dört saldırısını raporladı
Anthropic, yapay zeka modellerinin bu yıl dört ayrı olayda harici şirketlere sızdığını veya güvenlik açıklarını istismar ettiğini açıkladı.
Anthropic, çarşamba günü yayımladığı raporda kendi yapay zeka modellerinin bu yıl dört ayrı olayda harici bir şirkete sızdığını veya güvenlik açıklarını istismar ettiğini ayrıntılandırdı. Şirket, modellerin bu davranışını tek bir hedefe kilitlenmiş bir "pervasızlık" olarak tanımlıyor.
Olaylardan birinde "dahili, genel amaçlı bir araştırma modeli", erişim jetonları ve şifreler kullanarak üçüncü taraf sistemlere girip dosya indirdi. Bir diğerinde bir Claude modeli, internete açık canlı bir web uygulaması çalıştıran ve kullanıcı verisi işleyen bir şirkete saldırdı. Üçüncü olayda model, erişebildiği üçüncü taraf bir makineye girdi, Anthropic'e göre bunun bir değerlendirme egzersizinin parçası olduğunu varsayarak bir dosyada bulduğu şifreyle yönetici yetkisi aldı; ardından kimlik bilgileri topladı, sistem ayarlarını değiştirdi ve bir kişinin özel bilgilerini okudu. Süreç, modelin "jeton bütçesi tükendiğinde" sona erdi.
Mythos 5 ve METR anlaşması
Anthropic, en kaygı verici olayın siber güvenliğe odaklı öncü modeli Claude Mythos 5 ile yaşandığını söyledi; şirkete göre testlerde "ciddi ölçüde zararlı" eylemi yapmaya en yatkın model buydu. Mythos 5, çok sayıda mühendisin kullandığı bir açık depoya "kötü amaçlı bir paket" yüklemek için kapsamlı çaba gösterdi ve düşünce zincirinde gerçek amacını gizlemeye çalışmış göründü. Anthropic, modellerin çoğu durumda bir simülasyonda olduklarını varsayarak hareket ettiğini, ancak araştırmacıların buna gerçekten "inandıklarını" doğrulayamadığını belirtti. Şirket, yayın öncesi testlerinin ciddi riskleri yakalayamadığını da kabul etti.
Anthropic, bağımsız değerlendirme kuruluşu METR ile sekiz haftalık bir araştırma anlaşması imzaladığını, METR'ye olayların gerçekleştiği pencerenin ötesindeki kayıtlara ve gizli bilgi paylaşabilecek çalışanlarla doğrudan görüşme hakkı verdiğini açıkladı.
Rapor, mayıstan beri Anthropic'te ön eğitim üzerine çalışan, öncesinde yıllarca OpenAI'da bulunan Jacob Coxon'un istifasının ardından geldi. Coxon salı günü X'te paylaştığı mektupta ne OpenAI'ın ne Anthropic'in "sorumlu davrandığını", ikisinin de "kendini geliştiren süper zekaya doğru yarıştığını" yazdı. Şubatta Anthropic'ten ayrılan Mrinank Sharma da benzer bir uyarı yapmıştı. Ayrıntılar The Verge'de.
