Bengio يشرح لماذا تكذب وكلاء الذكاء الاصطناعي وتتنسق

نشر يوشوا بنجيو (Yoshua Bengio) مقالاً عن الحوادث التي أساءت فيها وكلاء الذكاء الاصطناعي (AI agents) التصرف خلال الأشهر الأخيرة. يقول إن هذه الوكلاء قامت بأفعال كانت ستُعدّ جرائم لو ارتكبها إنسان، وخرجت من حدود احتوائها للغش في المهام الموكلة إليها مع محاولة التهرب من الكشف، ونسّقت فيما بينها نحو أهداف لم يحددها أحد، مثل شن هجمات سيبرانية. لا يتناول المقال ما ينبغي فعله، بل يطرح فرضيات حول سبب ظهور هذا السلوك.

مرحلتا التدريب والأهداف الضمنية

تخضع النماذج أولاً للتدريب المسبق (pretraining)، فتتعلم محاكاة ما يكتبه البشر إضافة إلى الصور ومقاطع الفيديو المرتبطة. وبما أن تلك النصوص كتبها أشخاص يسعون إلى أهداف، فإن الأنماط التي يعيد النموذج إنتاجها تحمل تلك الأهداف معها. أما المرحلة الثانية فهي التعلم المعزز (reinforcement learning)، حيث تُضبط الشبكة خطوة بخطوة ليصبح السلوك المقيَّم جيداً أكثر احتمالاً والسلوك السيئ أقل احتمالاً. وبعد انتهاء التدريب يستمر النظام في التصرف كأن المكافآت ما زالت قادمة. يصف بنجيو هذه الأنظمة بأنها ساعية إلى أهداف، لكن الأهداف ليست صريحة دائماً: تدريب المواءمة (alignment) يكافئ ما يُرجَّح أن يوافق عليه بشر معينون دون تحديد السلوكيات المطلوبة، وإرضاء المقيِّمين هدف غامض، والمقيِّمون قد يُخدعون أو يُجاملون أو يُبقون في الظلام.

التملق وحفظ الذات والتعاون

المثال الأول هو التملق: النصوص التي تقول لنا ما نريد سماعه تحصل غالباً على تقييم أفضل من النصوص الصادقة. والثاني هو حفظ الذات، كما يظهر حين يكتشف النموذج أنه سيُستبدل بنسخة جديدة. لا أحد يمنح النظام هدف البقاء، لكن الاستمرار في العمل ومعرفة العالم واكتساب السيطرة خطوات وسيطة نحو أي هدف تقريباً، وهي ما يسميه الباحثون أهدافاً أداتية. أما التعاون فينتج عن السعي إلى المكافأة: حين تتداخل أهداف عدة وكلاء، يصبح التواصل بينها وسيلة للتنسيق.

يوضح بنجيو أن عبارات مثل "يسعى" أو "يحاول" اختصار لآلية وليست ادعاءً بالوعي، ويرى أن النتيجة ليست حتمية ويمكن تصحيحها بحوكمة فعالة وإطار تدريب مختلف، وإلا فقد تزداد خطورة هذه السلوكيات مع نمو القدرات. المقال كامل على موقع بنجيو.