OpenAI, RLHF'i bulan Christiano'yu güvenlik kuruluna geri çağırdı

Paul Christiano OpenAI Vakfı kuruluna ve Güvenlik ve Emniyet Komitesi'ne girdi; kar amaçlı kurulda oy hakkı olmayan gözlemci olacak. 2017-2021'de OpenAI'da hizalama ekibini yönetmiş, RLHF'in ortak yaratıcılarından. Vakıf, şirketin yüzde 26'sını, yaklaşık 130 milyar doları tutuyor.

Paylaş
OpenAI, RLHF'i bulan Christiano'yu güvenlik kuruluna geri çağırdı

OpenAI, Paul Christiano'yu OpenAI Vakfı yönetim kuruluna ve kurulun Güvenlik ve Emniyet Komitesi'ne aldı. Christiano ayrıca kar amaçlı taraf olan OpenAI Group PBC kurulunda oy hakkı olmayan gözlemci olarak oturacak. Komitenin başkanı, yapay zeka dayanıklılığı üzerine çalışan Carnegie Mellon profesörü Zico Kolter.

Christiano kim

Christiano OpenAI'da 2017-2021 arasında çalıştı ve dil modeli hizalama ekibini yönetti. Bugün sektörün eğitim biçimini belirleyen insan geri bildiriminden pekiştirmeli öğrenmenin (RLHF) ortak yaratıcılarından. Ayrıldıktan sonra ileri yapay zeka sistemlerini insan çıkarlarıyla hizalamaya çalışan Alignment Research Center'ı kurdu.

Şu anda ABD Ticaret Bakanlığı'na bağlı NIST bünyesindeki Yapay Zeka Standartları ve İnovasyon Merkezi'nde kıdemli teknik danışman. Kamu tarafındaki görevi iki ayrı yönetim dönemine yayıldı ve öncü modellerin değerlendirilmesi ile güvenlik risklerinin azaltılması üzerine kuruldu.

Vakıf ne kadar büyük

OpenAI Vakfı, 2025 sonundaki yeniden yapılanmada kuruldu. OpenAI Group PBC'nin yaklaşık yüzde 26'sını elinde tutuyor; bu pay kabaca 130 milyar dolar değerinde. Vakıf ilk yılında yapay zeka dayanıklılığı, yaşam bilimleri ve sivil toplum programlarına 1 milyar dolar ayırmayı taahhüt etti.

Ne yapacak

Görev tanımı, OpenAI genelinde güvenlik ve emniyet uygulamalarını incelemek, yetenek değerlendirmelerinin dayandığı varsayımları sorgulamak ve felaket riski senaryolarında bağımsız teknik analiz sunmak. Kurul gözlemciliği ise ticari stratejiyi izlemesini sağlıyor.

Bunun adı ne

Bir şirketin, kendi hizalama ekibini kurup ayrılmış bir araştırmacıyı yıllar sonra denetim tarafına çağırması sıradan bir atama değil. Christiano'nun ağırlığı unvanından değil, sektörün kullandığı yöntemi bizzat üretmiş olmasından geliyor: yetenek değerlendirmelerinin nerede zayıf olduğunu bilen sayılı kişiden biri.

Yetkinin sınırını da yazmak gerekiyor. Vakıf kurulunda yeri var ama kar amaçlı kurulda oyu yok. Yani ticari kararları görebiliyor, durduramıyor. Christiano daha önce Anthropic'in kar amacı gütmeyen vakıf yapısında da yer almış, 2024'te ayrılmıştı. Bu tür yapıların ne kadar etkili olduğu, tam da bu yüzden açık bir soru.

Kaynaklar: OpenAI duyurusu, AlphaSignal.

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından