أعطوا الوكيل يدًا: نموذج AgentHands من غوغل يشرح بأيد افتراضية
يضيف النموذج التجريبي من أبحاث غوغل، المنشور في مؤتمر CHI 2026، أيادي افتراضية متزامنة مع الكلام إلى الوكيل المحادث: من إصلاح الطابعة إلى الوصفات، يشير خطوة بخطوة في المهام المادية.
أقدم أوجاع المساعدات الصوتية هو وصف المكان. فجملة مثل "الزر الثاني في اللوحة اليسرى" تطلب من السامع بناء خريطة في رأسه، وكثيرًا ما تبنى تلك الخريطة خطأ. ويقدم نموذج AgentHands من أبحاث غوغل جوابًا ملموسًا عن هذه الفجوة: يمنح وكيل الذكاء الاصطناعي المحادث في الواقع الممتد (XR) أيادي افتراضية تتحرك بتزامن مع كلامه. فحين يقول الوكيل "هذا الزر" صار يشير إليه فعلًا.
والتصميم التقني أنيق: عبر تعليمة عليا يضمن النموذج اللغوي الكبير في رده الشفهي أحداث إيماء محاذاة لكلمات بعينها؛ يحمل كل حدث نوع الإيماءة ومعاملاتها. وفي وقت التشغيل يحول محلل هذه الأحداث إلى وضعيات يد موقوتة، ويرسم نظام التحريك أيادي معبرة متزامنة مع الكلام. وتتوزع الإيماءات على ثلاث عائلات: إشارية، وأيقونية تنقل الشكل والحجم، وتعبيرية تحمل المشاعر.
والأمثلة المعروضة يومية تمامًا: الإشارة إلى لوحة إعدادات الطابعة، وبيان الدرج الذي يسع بجوار النافذة، والتلويح بالخطر عند التحذير من سخونة الفوهة، وتصفيقة النجاح عند إتمام العمل. نشر العمل في مؤتمر CHI 2026، أرفع منابر التفاعل بين الإنسان والحاسوب؛ وتقدمه غوغل لمحة عن مستقبل الحوسبة المكانية.
الصورة الأكبر: غطينا هذا الأسبوع وكلاء يكتبون الشيفرة ويتراسلون ويركبون مجانًا على الهاتف. وAgentHands هو لحظة امتداد الوكيل نفسه إلى العالم المادي عبر النظارة: المساعد الذي كان يجيب على الشاشة يصير معلمًا يشير بيده عند طاولة العمل.
