Aikido, GLM-5.3'ten türettiği açık güvenlik modeli Altar-1'i yayımladı

Belçikalı uygulama güvenliği şirketi Aikido, ilk açık güvenlik modeli Altar-1'i Hugging Face'te yayımladı. Modelin eğitilmiş dosyaları herkesin indirmesine açık, yani kurumlar onu kendi sunucularında çalıştırabiliyor. Model, Z.ai'nin açık modeli GLM-5.3'ten türetildi. Aikido, GLM-5.3'ü güvenlik işlerine göre budayıp sıkıştırarak küçülttü.

Neden yapıldı

Aikido'ya göre bankalar, hastaneler ve internete kapalı ağlarda çalışan sanayi kuruluşları, kaynak kodlarını ve açık bulgularını bulut üzerindeki yapay zeka servislerine gönderemiyor. Şirket, Altar'ı bu kurumların güvenlik taramasını tamamen kendi altyapılarında yapabilmesi için geliştirdiğini söylüyor. Model, şirketin müşterinin kendi ağında çalışan otomatik sızma testi cihazı Aikido Machine'e de güç veriyor.

Nasıl küçültüldü

GLM-5.3, uzmanlar karışımı (MoE) mimarisine sahip çok büyük bir model. Her katmanda çok sayıda küçük uzman ağ bulunuyor, her kelime parçası için bunların yalnız birkaçı çalışıyor ama hepsinin bellekte tutulması gerekiyor. Aikido iki yöntem kullandı:

• Nicemleme: Uzman ağlardaki sayılar 16 bit yerine 4 bitle saklandı. Bu adım için topluluktaki hazır bir 4 bitlik GLM-5.3 sürümü temel alındı.
• Uzman budama: Cerebras'ın REAP yöntemiyle, güvenlik işine en az katkı veren uzmanlar silindi. Hangi uzmanın kalacağına Aikido'nun kendi sızma testi kayıtları, kodlama ve araç kullanımı örnekleri ve farklı dillerde metinlerle karar verildi. Aikido, bu adımda müşteri verisi kullanılmadığını belirtiyor.

Sonuçta model, GLM-5.3'ün her katmandaki 256 uzmanından 168'ini koruyor ve 328 GB'a iniyor. Aikido'nun blogundaki tabloya göre tam hassasiyetli GLM-5.3 yaklaşık 1,5 TB, yalnız nicemlenmiş sürüm 488 GB yer kaplıyor. Budama işini topluluktan geliştirici 0xSero yaptı. Aikido model kartında Z.ai, Cerebras ve katkı veren geliştiricilere teşekkür ediyor.

Ne kadar kayıp var

Aikido, modeli kendi hazırladığı, 30 depodaki 32 bilinen açıktan oluşan bir testle ölçtü. Şirkete göre Altar, açıkların 23'ünü en az bir kez buldu. Tam GLM-5.3 aynı testte 25 açık bulmuştu, yalnız nicemlenmiş sürüm ise Altar ile aynı 23 açığı. Aikido, bu testin bilinen açıkları yeniden bulmayı ölçtüğünü, bütün bir kod tabanında sıfırdan açık arama ya da açığı istismar ederek doğrulama becerisini ölçmediğini de not ediyor.

Nasıl kullanılır

Model dosyaları Hugging Face'teki AikidoSec/altar-1 sayfasından indirilebiliyor. Model vLLM ile çalıştırılıyor. Aikido, kurum içine kurulum için destek de veriyor. Şirketin Aikido Attack, AI Code Analysis ve Deep Review ürünleri de Altar'ı kullanıyor.

Dikkat edilmesi gerekenler

• "Yerel" burada kurumun kendi veri merkezi anlamında. Model, dört adet NVIDIA H200 gibi Hopper nesli veri merkezi GPU'su için hazırlandı. Kişisel bilgisayarda çalışacak bir model olarak tasarlanmadı.
• Model yeni bir eğitimden geçmedi, GLM-5.3'ün becerilerini taşıyor. Aikido, güvenlik işleri için ince ayarı sonraki adım olarak planlıyor.
• Lisans, GLM-5.3'ün lisansını devralıyor. Ticari kullanımdan önce o lisansın okunması gerekiyor.
• Sonuçları farklı açılardan görmek için bağımsız araştırmacıların değerlendirmelerini de takip edin.

Kaynaklar: Aikido blogu: Introducing Aikido Altar, Hugging Face: AikidoSec/altar-1 model kartı, REAP makalesi (Cerebras).