Stanford'un HomeBody sistemi: insansı robot mutfağı kendi keşfedip topluyor
Stanford'daki The Movement Lab'in tanıttığı HomeBody, bir görsel dil modelinin insansı robotun hazır becerilerini doğrudan yönetmesini sağlıyor. Robot daha önce görmediği bir mutfağı keşfediyor, sanal kopyasını çıkarıyor ve sözlü talimatla toplama yapıyor.
Stanford Üniversitesi'ndeki The Movement Lab ile Caltech'ten araştırmacılar, HomeBody adlı bir insansı robot sistemini tanıttı. Proje sayfasındaki bilgilere göre sistemde bir görsel dil modeli, robotun hazır hareket becerilerini doğrudan yönetiyor. Robot daha önce görmediği bir mutfağı kendi keşfediyor, mekanın sanal bir kopyasını çıkarıyor ve gündelik dille verilen talimatları yerine getiriyor.
HomeBody nedir
İnsansı robotlarda yaygın kurulum üç katmandan oluşuyor: görüntüyü ve talimatı yorumlayan bir görsel dil modeli, komut üreten ve ayrıca eğitilen bir eylem modeli, hareketi uygulayan bir denetleyici. Araştırmacılar aradaki eylem modelini çıkarıp görsel dil modelinin yeniden kullanılabilir becerileri doğrudan çağırıp çağıramayacağını sınadı. Kendi tanımlarıyla HomeBody, güncel görsel dil modellerine kalıcı bir mekan belleği ve birleştirilebilir insansı robot becerileri kazandıran bir sistem.
Gösterimlerde Unitree G1 insansı robotu ve sayfada GPT Astra adıyla geçen model kullanıldı. Araştırmacılar modelin değiştirilebilir olduğunu belirtiyor.
Nasıl çalışıyor
Kurulum üç adımdan oluşuyor. Robot önce "bir mutfak robotusun, mekanı keşfet" anlamındaki bir talimatla ortamı geziyor; kamera görüntüleri ve LiDAR taramaları topluyor. İkinci adımda bu verilerden NVIDIA Isaac Sim içinde mekanın sanal bir kopyası oluşturuluyor. Bu kopya, modelin o an kameranın görmediği yerler hakkında da akıl yürütmesine ve hatırladığı konumlara geri dönmesine yarıyor. Üçüncü adımda "mutfağı topla" gibi gündelik bir talimat veriliyor.
Beceri kütüphanesinde beş beceri var: nesneyi tutup kaldırma, bırakma, çekmece açma, çekmeceden nesne alma ve haritadaki bir konuma yürüme. Model hangi beceriyi hangi hedefle kullanacağını seçiyor; hareketin planlanması ve uygulanması becerinin kendi işi. Bir tutuş başarısız olursa beceri sınırlı sayıda yeniden deniyor, sonuç alamazsa nedenini modele bildiriyor ve model planını değiştirebiliyor. Beceriler, algılama ve hareket planlama RTX 4090 ekran kartlı bir dizüstü bilgisayarda, görsel dil modeli ise uzakta çalışıyor.
Gösterilen görevler
Sayfada iki görev yer alıyor. İlkinde robot, kahve paketlerini mutfak adasında topluyor ve bozulmuş süt ile portakal suyu kutularını atıyor. İkincisinde "ilacımı unuttum, getirir misin" talimatı veriliyor; ilaç o sırada görünürde olmadığı için sistem kayıtlı görüntülerden çekmeceyi buluyor, çekmeceyi açıp ilacı alıyor ve kişiye veriyor. Araştırmacılara göre bu görevler için ortama özel eğitim verisi toplanmadı ve ek bir eylem politikası eğitilmedi. Sistem yine de alt gövde denetimi, nesne bölütleme ve derinlik kestirimi için önceden eğitilmiş hazır bileşenler kullanıyor.
Araştırmacılar sınırları da sıralıyor: sanal kopyanın çıkarılması kurulum süresi ve model kullanım maliyeti ekliyor, modelin düşünme süresi beceriler arasında duraklamalara yol açıyor, uzun çalışmada parmak motorları ısınıyor. Sayfada başarı oranı ya da deneme sayısı gibi ölçülmüş bir sonuç yer almıyor; gösterimler tek bir mutfakta çekildi, videolar hızlandırılmış ve yeniden denemeleri içeriyor. Çalışmanın makalesi henüz bağlantılı olarak paylaşılmadı, kod deposunda da kodun yakında yayımlanacağı yazıyor. Sistemi farklı ortamlarda görmek için bağımsız araştırmacıların değerlendirmelerini de takip etmekte fayda var.
Kaynaklar: Stanford TML: HomeBody proje sayfası, GitHub: Stanford-TML/homebody.
