Ajana el verdiler: Google'ın AgentHands prototipi sanal ellerle tarif ediyor
Google Research'ün CHI 2026'da yayımlanan XR prototipi, konuşan ajana konuşmasıyla eşzamanlı sanal eller ekliyor: yazıcı tamirinden tarife, fiziksel işlerde işaret ederek adım adım yol gösteriyor.
Sesli asistanların en eski derdi şudur: mekan anlatmak. "Soldaki paneldeki ikinci düğme" cümlesi, dinleyenin kafasında bir harita kurmasını ister ve o harita çoğu zaman yanlış kurulur. Google Research'ün AgentHands prototipi bu boşluğa somut bir cevap: genişletilmiş gerçeklik (XR) içinde konuşan yapay zeka ajanına, söylediğiyle eşzamanlı hareket eden sanal eller ekliyor. Ajan artık "şu düğme" derken gerçekten işaret ediyor.
Teknik kurgu zarif: büyük dil modeli, üst yönerge sayesinde sözlü yanıtın içine belirli kelimelere hizalanmış jest olayları gömüyor; her olay jestin türünü ve parametrelerini taşıyor. Çalışma anında bir ayrıştırıcı bu olayları zaman damgalı el duruşlarına çeviriyor ve animasyon sistemi, konuşmayla senkron ifadeli elleri sahneye basıyor. Jestler üç ailede toplanıyor: işaret jestleri (deiktik), biçim ve boyut anlatan ikonik jestler, bir de duygu taşıyan ifade jestleri.
Paylaşılan örnekler gündelik: yazıcının parametre paneline işaret etmek, pencerenin yanına sığacak çekmeceyi göstermek, "dikkat, uç çok sıcak" uyarısında tehlikeyi elle imlemek, iş bitince beşlik çakmak. Çalışma, insan-bilgisayar etkileşiminin en saygın kürsüsü CHI 2026'da yayımlandı; Google bunu uzamsal bilişimin geleceğine bir bakış olarak sunuyor.
Büyük resim: bu hafta ajanların kod yazdığını, birbirine mesaj attığını, telefonda bedava kurulduğunu yazdık. AgentHands aynı ajanın gözlüğün içinden fiziksel dünyaya uzandığı an: ekranda cevap veren asistan, tezgahın başında el eden ustaya dönüşüyor.
