SynthID filigranı, modellerin zararlı istemlere verdiği yanıtı değiştiriyor
Yeni bir araştırmaya göre SynthID-Text filigranı açık ağırlıklı modellerde reddetme davranışını değiştiriyor, bazı modeller normalde reddedeceği istekleri yanıtlıyor.
Avrupa Birliği'nin yeni yasası nedeniyle yapay zeka platformları ürettikleri içeriği filigranlamaya başlıyor. Anthropic, gelecekteki Claude modellerinde Google'ın geliştirip açık kaynak yayımladığı SynthID-Text yöntemini kullanacağını açıkladı. Yöntem, gizli bir anahtarla modelin bir sonraki kelimeyi seçme sürecini hafifçe değiştiriyor: en olası seçim "bulutlu" iken anahtar bunu "kapalı" yapabiliyor. Anahtarı bilen biri metnin o platformda üretilip üretilmediğini anlayabiliyor.
Lasso Security'de yapay zeka güvenliği araştırmacısı olan Andrea Siposova'nın çalışması, bu müdahalenin yalnızca kelime seçimini etkilemediğini gösteriyor. Filigran, modelin hangi aracı çağıracağını ve eğitildiği güvenlik sınırlarına uyup uymayacağını da değiştirebiliyor.
Test nasıl yapıldı
Siposova, SynthID-Text'in "bozucu olmayan" yapılandırmasını Hugging Face'in değiştirilmemiş SynthIDTextWatermarkLogitsProcessor bileşeni üzerinden denedi. Altı açık ağırlıklı modele zararlı istemler verdi ve yanıtları filigran açıkken ve kapalıyken karşılaştırdı. Araştırmacıya göre filigran, çıplak zararlı isteklerde reddetme davranışını değiştiriyor; aynı istekler istem enjeksiyonu tekniğiyle birleştirildiğinde etki daha belirginleşiyor. Birkaç modelde filigran, modelin normalde reddedeceği zararlı isteklere yanıt verme olasılığını artırdı. Yanıtlar, kullanılan gizli anahtara göre de farklılaştı.
Araştırmacı bu etkiye "örnekleme kayması" adını veriyor. Model düzeyinde reddetmenin istem enjeksiyonu altında ayakta kalıp kalmadığını, ajan düzeyinde ise hangi aracın çağrılacağını ve hangi argümanların geçileceğini belirleyebiliyor. Model araçlar üzerinden eyleme geçebildiğinde zayıflamış bir reddetmenin sonuçları da büyüyor.
Sınırlar
Çalışma Claude modellerini test etmiyor. Bunun yerine, token örneklemesinin açılıp kapatılabildiği altı açık ağırlıklı model kullanılıyor. Denemeler ayrıca turnuva örneklemesinin Hugging Face uygulamasını sınıyor, Claude modellerinde kullanılacak özel uygulamayı değil.
Bulgular, filigranlamanın en azından bazı biçimlerinin model ve ajan güvenliğini etkileyebileceğine işaret ediyor. Detaylar için Ars Technica'daki habere bakabilirsiniz.
