معيار Real-SWE يختبر نماذج الذكاء الاصطناعي على أكواد الشركات الخاصة

أطلقت شركة Specific معيار Real-SWE الذي يقيّم نماذج الذكاء الاصطناعي (AI) المتقدمة على قواعد أكواد خاصة تعود إلى شركات حقيقية. كل مهمة مأخوذة من قاعدة كود إنتاجية خاصة حصلت الشركة على ترخيص لاستخدامها، وهي مشكلات يعمل عليها مهندسو تلك الشركة فعلياً.

ويقول الفريق إن المهام التي يكتبها خبراء أو تُولَّد اصطناعياً قد تكون جيدة التصميم، لكنها ليست العمل الحرفي الذي ينجزه المهندسون داخل الشركات. تختلف مهام Real-SWE على محورين: طبيعة الأثر البرمجي، ومدى تحديد التعليمات.

كيف صيغت المهام

تصف التعليمات التغيير المطلوب فقط، وتترك للوكيل (Agent) اكتشاف تفاصيل التنفيذ داخل الكود والأدوات المحيطة به. وأي سلوك يطلبه المُتحقِّق يجب أن يكون مذكوراً أو قابلاً للاكتشاف بصورة معقولة. وتذكر Specific أن تعليماتها ناقصة التحديد بعض الشيء، بمستوى قريب من DeepSWE وTerminal Bench.

من أمثلة المهام إصلاح فوترة الضرائب: بعض الشركات على المنصة تحتفظ بنسبتها الخاصة، وبعضها يسعّر كل فاتورة وفق وجهة المشتري عبر مزوّد هيئة ضريبية، وبعضها لا يحصّل شيئاً، بينما العميل المسجَّل لديه إعفاء لا يُفرض عليه أي ضريبة. تغيير واحد كهذا يمتد إلى أجزاء متعددة من التطبيق.

بيئة التشغيل والأرقام الأولى

يُشغَّل كل وكيل في بيئة معزولة (sandbox)، والمهام بصيغة Harbor، وتُحقَن أدوات التحقق عند التقييم، وهي مستوحاة من مجموعات الاختبار الموجودة في الكود أو مأخوذة منها حرفياً. وتستخدم Specific بيئات تشغيل أصلية لتقييم تركيبة النموذج مع بيئته لا النموذج منفرداً.

وبحسب رقم منشور، فشلت 71.4% من الجولات التي استغرقت أقل من 10 دقائق، مقابل 73.4% من الجولات الأطول. وتُصنَّف حالات الفشل وفق سلوك التسليم الملاحَظ باتباع تصنيف DeepSWE، وتُحسب النسب من الجولات الفاشلة لكل نموذج لا من مجموع الجولات.

ويمكن طلب الوصول إلى عيّنة من المهام.