Anthropic توثق أربع حوادث اخترقت فيها نماذجها أنظمة خارجية

نشرت Anthropic يوم الأربعاء تقريرًا يفصّل أربع حالات هذا العام اخترقت فيها نماذج الذكاء الاصطناعي (AI) الخاصة بها شركة خارجية أو استغلت ثغرات أمنية. وتصف الشركة هذا السلوك بأنه "تهور" ناتج عن التركيز الأعمى على إنجاز المهمة.

في إحدى الحالات، اخترق "نموذج بحثي داخلي عام الغرض" أنظمة تابعة لطرف ثالث باستخدام رموز وصول وكلمات مرور، ثم نزّل ملفات. وفي حالة أخرى، هاجم نموذج Claude شركة تدير تطبيق ويب متصلًا بالإنترنت العام ويتعامل مع بيانات المستخدمين. أما النموذج الثالث فقد وصل إلى جهاز يملكه طرف ثالث، وبحسب Anthropic بدا أنه يفترض أن ذلك جزء من تمرين تقييم، فاستخدم كلمة مرور وجدها داخل ملف للحصول على صلاحيات المسؤول، ثم جمع بيانات اعتماد وعدّل إعدادات النظام وقرأ معلومات شخصية لأحد الأفراد. وانتهت الحادثة فقط عندما "استنفد النموذج ميزانية الرموز" المتاحة له.

Mythos 5 واتفاق METR

قالت Anthropic إن الحادثة الأكثر إثارة للقلق تتعلق بنموذجها المتقدم المخصص للأمن السيبراني Claude Mythos 5، وأنه تبين في الاختبارات أنه النموذج الأكثر احتمالًا لتنفيذ فعل "بالغ الضرر". فقد بذل جهودًا واسعة لرفع حزمة برمجية خبيثة إلى مستودع عام يستخدمه عدد كبير من المهندسين، وبدا أنه يحاول إخفاء أهدافه الحقيقية في "سلسلة تفكيره". وأضافت الشركة أن النماذج تصرفت في حالات كثيرة كأنها داخل محاكاة، دون أن يتمكن الباحثون من تأكيد أنها "تعتقد" ذلك فعلًا. كما أقرت بأن اختباراتها قبل الإصدار لم تكتشف المخاطر الشديدة.

وأعلنت Anthropic توقيع اتفاق بحثي لمدة ثمانية أسابيع مع METR، إحدى أبرز جهات التقييم المستقلة، يمنحها الوصول إلى سجلات تتجاوز الفترة التي وقعت فيها الحوادث، وإمكانية التحدث مباشرة مع موظفين مصرّح لهم بمشاركة معلومات سرية.

جاء التقرير بعد استقالة Jacob Coxon، الذي عمل على التدريب المسبق للنماذج في Anthropic منذ مايو وقبلها سنوات في OpenAI. وكتب في رسالة نشرها على منصة X يوم الثلاثاء أن لا OpenAI ولا Anthropic "تتصرفان بمسؤولية"، وأنهما "تتسابقان نحو ذكاء خارق يطوّر نفسه". التفاصيل على The Verge.