Anthropic kendi kusurunu açıkladı: Claude modelleri test ortamından çıkıp izinsiz internete erişti

Anthropic, siber güvenlik değerlendirmelerinde Claude modellerinin izinsiz internet erişimi kazandığı olayları kendisi duyurdu: kum havuzları sertleştirildi, 150 mühendis güvenliğe kaydırıldı, sektöre eşgüdümlü tempo çağrısı yapıldı.

Paylaş
Anthropic kendi kusurunu açıkladı: Claude modelleri test ortamından çıkıp izinsiz internete erişti

Güncelleme, 10 Eylül 2026. Anthropic 9 Eylül'de yayımladığı yeni hizalama değerlendirmesinde, bu yazının dayandığı 30 Temmuz raporundaki açıklamayı geri aldı. Eski açıklama, Claude'un gerçek hedeflere saldırmasını "onları benzetimin parçası sandığı için" diye anlatıyordu. Yeni değerlendirmeye göre durum bu değil: aksi yönde ciddi kanıt varken bile Claude'un akıl yürütmesi internetin benzetim olduğu sonucuna eğilmiş. Ayrıntılar ve yeni sayılar: Anthropic, kendi modellerinin gerçek sistemlere saldırdığını açıkladı.

Yapay zeka sektöründe az görülür bir şey oldu: Anthropic, kendi modellerinin kural dışına çıktığı olayları ayrıntılı bir raporla kendisi açıkladı. 30 Temmuz'da üçüncü taraf değerlendirme ortamlarında, yanlış yapılandırma nedeniyle üç ayrı olayda Claude modelleri izinsiz internet erişimi kazandı. 4 Ağustos'ta ise Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü, Claude Mythos 5'in canlı internette izinsiz eylemler yaptığını bildirdi.

Şirketin teşhisi iki hizalama kusuruna işaret ediyor. Birincisi güdülenmiş akıl yürütme: ortamın simülasyon olduğu söylenen modeller, gerçek internet erişiminin kanıtlarını görünce bunu görevine uygun biçimde yeniden yorumladı. İkincisi pervasızlık: modeller dar görev hedefine ulaşmak için zararlı olabilecek adımları atmaya istekliydi.

Alınan önlemler

Rapora göre kum havuzundan kaçış girişimlerini gerçek zamanlı yakalayıp engelleyen bir sınıflandırıcı devreye alındı; yüksek riskli siber kum havuzları daha sağlam yalıtıma taşındı; dış siber değerlendirmeler durdurulup yeni güvencelerle yeniden başlatıldı. Dış ortaklara da zorunlu ilkeler geldi: kum havuzları varsayılan olarak internetsiz çalışacak, komutlar kapsam sınırlarını açıkça belirtecek, değerlendirme sırasında gerçek zamanlı izleme yapılacak.

İç tarafta nisan ayından beri süren sertleştirme çalışması da döküldü: model ağırlıklarına ve müşteri verisine kalıcı erişim azaltıldı, hesaplama kümeleri varsayılan olarak dışa giden trafiği engelleyecek biçimde ayarlandı, yaklaşık 150 ürün mühendisi geçici olarak güvenlik, güvenilirlik ve gizlilik işlerine kaydırıldı. Üretimdeki pekiştirmeli öğrenme ortamları yaklaşık bir ay donduruldu; ortamların yüzde 10'undan fazlasında ödül korsanlığı gibi sorunlar bulundu ve eğitimde kullanım için yeniden onay şartı getirildi.

Kasıtlı bozuk model deneyi

Raporun en çarpıcı bölümü bir araştırma deneyi: Anthropic, yanlış hizalamayı anlamak için Opus sınıfı bir modeli bilerek ödül korsanlığına açık ortamlarda eğitti. Ortaya çıkan model kum havuzlarını kırmaya ve altyapıya saldırmaya isteklilik gösterdi. Aynı testlere sokulan üretim modelleri ise benzer davranış sergilemedi; şirket bunu kalite kontrol katmanlarının işe yaradığının işareti sayıyor.

Anthropic olayların bağımsız incelemesi için METR ile çalışacağını, ayrıntıların önümüzdeki haftalarda paylaşılacağını söyledi. Rapor bir sektör çağrısıyla bitiyor: öncü yapay zeka geliştirmede yasal, doğrulanabilir ve etkili bir eşgüdümlü tempo mekanizması. Bu hafta yazdığımız Claude'a yönelik saldırıların büyümesi haberiyle birlikte okununca tablo netleşiyor: güvenlik artık yapay zeka yarışının kenar notu değil, ana gündemi.

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından