Anthropic'ten otomatik hizalama araştırması: 10 kıyaslamada iyileşme

Anthropic, cuma günü "Automated Researchers Can Reliably Mitigate Alignment Failures" (Otomatik Araştırmacılar Hizalama Hatalarını Güvenilir Biçimde Azaltabilir) başlıklı bir makale yayımladı. Makale, yapay zeka sistemlerinin bir modelin hizalama (alignment) kıyaslamalarındaki performansını nasıl iyileştirebileceğini anlatıyor. Şirketin fellows programındaki araştırmacı Chen Yueh-Han'ın yürüttüğü çalışmada, hizalama bozukluğu gösteren belirli davranışlar için verilen 10 kıyaslamanın tamamında iyileşme sağlandığı, genel performansta ise düşüş yaşanmadığı belirtiliyor.

Sistem nasıl çalışıyor

Makaleye göre otomatik sistem, geleneksel araştırma akışını taklit ediyor: mevcut literatürü tarıyor, bir yöntem öneriyor ve modeli bu yöntemle 30 dakika eğitiyor. Birkaç iterasyon boyunca kıyaslama puanı kademeli olarak yükseltiliyor. İşe yarayan yöntemler saklanıyor, yaramayanlar eleniyor; böylece sistem hızlı ve geniş ölçekte çalışabiliyor.

Makalede otomatik hizalama araştırmacısı (AAR) doğrudan insan muadiliyle karşılaştırılıyor: "En iyi AAR yöntemi, deneyimli insanların önerdiklerini ortalama altı saat içinde geçiyor" ve "insan yönlendirmeli araştırma yönleri daha güçlü performansa yol açmıyor" ifadeleri yer alıyor. Maliyet karşılaştırması da veriliyor: bir AAR'nin API çıkarım maliyeti saatte yaklaşık 4 dolar, şirketin insan araştırmacılara ödediği ise saatte 150 dolar.

Sınırlar

Makale kendi kısıtlarını da sıralıyor. Otomatik sistem, ancak kıyaslamalar gerçek hizalama hedeflerini yansıttığı ölçüde işe yarıyor. Bu kıyaslamaların oluşturulması ve güncel tutulması, ayrıca otomatik araştırmacıların beslendiği literatürün korunup genişletilmesi ciddi iş yükü gerektiriyor. Yazarlar sonuçları "otomatik hizalama sonrası eğitimin yakın vadede pratik hale gelebileceğine dair erken kanıt" olarak tanımlıyor.

Ayrıntılar için TechCrunch'ın haberine bakabilirsiniz.