Robotlar neden yeni masada şaşırıyor? Ai2'nin açık ToyBlocks'u cevabı tahta bloklarla arıyor

Çamaşır katlayan, parça ayıran robot videoları her hafta yenisiyle karşımıza çıkıyor. Bu gösterilerin çoğu yine de dar bir sahnede çekiliyor ve iki soruya cevap vermiyor: Robot aslında ne öğrendi, başarısız olduğunda neden başarısız oldu? Biyologlar karmaşık bir canlıyı incelerken önce petri kabı gibi küçük, denetlenebilir bir ortamla başlar. Allen Institute for AI (Ai2) robotik için aynı yaklaşımı öneriyor ve 6 Kasım'da bunun ilk örneğini açtı: ToyBlocks.

ToyBlocks bir masa, bir robot kol ve üzerinde harfler, resimler olan tahta bloklardan oluşan bir simülasyon dünyası. Sahne bilerek basit tutulmuş, ama robotun yine de blokları itmesi, çevirmesi, üst üste dizmesi ve bir bloğun gizli yüzünü görmek için onu döndürmesi gerekiyor. Ai2 bu tür ortamlara "FoundationWorld" diyor ve ToyBlocks bu ailenin ilk üyesi. Simülasyon dosyaları, görev ve gösterim üreticileri, 85.336 hazır gösterim, iki eğitilmiş model, eğitim ve değerlendirme kodu Apache 2.0 lisansıyla GitHub ve Hugging Face üzerinden açık.

Robota ders verecek veriyi kim üretiyor

Robot öğrenmesinin en pahalı kısmı veri. Genellikle bir insan robotu uzaktan kumandayla yönetip binlerce kez aynı işi yaptırıyor ve bu kayıtlar eğitim verisi oluyor. ToyBlocks bu işi otomatiğe bağlıyor. Önce kısa beceriler (bir bloğu masada itmek, tutmadan bir yüzüne devirmek gibi) NVIDIA'nın açık kaynaklı simülasyon çerçevesi Isaac Lab içinde pekiştirmeli öğrenme ve hareket planlamayla üretiliyor. Burada simülasyonun bir avantajı kullanılıyor: Bloğun tam konumu ve açısı kameradan tahmin edilmeden doğrudan simülatörden okunabiliyor.

Sonra bir görev ve hareket planlayıcısı, bir hedefi çözmek için hangi becerilerin hangi sırayla yapılacağını seçiyor ve aradaki kol hareketlerini planlıyor. Her plan simülasyonda oynatılıyor ve kayıt, hangi görevin yapıldığını anlatan etiketlerle birlikte veri setine ekleniyor. Yüzlerce plan tek bir ekran kartında paralel çalışıyor; üretim gerçek zamanın 24 katına kadar çıkıyor. Kayıtlar LeRobot biçiminde tutuluyor, yani doğrudan görme-dil-eylem modellerinin eğitiminde kullanılabiliyor. Her görevin hedefi PDDL adlı planlama dilinde yazıldığı için başarı ve kısmi ilerleme de ayrı kod yazmadan ölçülüyor.

Araştırmacı veri karışımını istediği gibi değiştirebiliyor. Örneğin çevirme becerisini geliştirmek için döndürme ve al-bırak gösterimlerinin işe yarayıp yaramadığını sınayabiliyor ya da robotun masanın yalnız sol yarısında eğitilip sağ yarısında denenmesini sağlayabiliyor. Ölçümler başarı oranıyla sınırlı kalmıyor; işin süresi, bloklara uygulanan kuvvet ve göreve ne kadar yaklaşıldığı da raporlanıyor.

Nasıl yapıldı: iki katmanlı robot beyni

Ai2 çerçeveyle birlikte iki model yayımladı. Üst katmanda "ne yapılacağına" karar veren Molmo2-4B-tb var. Ai2'nin Molmo2-4B görme-dil modelinden türetilen bu 4,5 milyar parametrelik model, ön kameranın 640x360 görüntüsüne ve yazılı hedefe bakıyor, hedefin ne kadarının tamamlandığını söylüyor, sonraki adımı adlandırıyor ve işlem yapılacak bloğu görüntü üzerinde bir noktayla işaretliyor. Saniyede yaklaşık 6 karar veriyor. Model, ToyBlocks'un üç bloklu dizme görevlerinde 256'lık toplu boyutla 6.000 adım eğitildi; genel işaret etme becerisini kaybetmesin diye verinin yüzde 25'i PixMo ve CoSyn işaretleme verisinden geliyor.

Alt katmanda kolu hareket ettiren ManiFlow-tb var. 322,5 milyon parametrelik bu model ön kamera ve bilek kamerası görüntülerini, robotun durumunu, görevin adını ve üst modelin işaretlediği hedefi alıp 25 adımlık hareket parçaları üretiyor. Akış eşleştirme (flow matching) yöntemiyle, 8 ekran kartında 200 bin adım eğitildi. Bir beceriyi bitirince duruyor ve sıradaki talimatı üst modele soruyor. Çerçeve, iki katmandan birinin yerine her şeyi doğru bilen bir "kahin" koyabiliyor; böylece bir hata çıktığında sorunun planlamada mı yoksa uygulamada mı olduğu ayrılabiliyor.

İlk deneyler ne gösterdi

Ai2 çerçeveyi önce popüler eylem modellerinin genelleme gücünü ölçmek için kullandı. ManiFlow, π0.5 ve MolmoAct 2 dizme, sökme, çevirme ve döndürme görevlerinde, eğitimde görmedikleri bölgelerde ve kule yüksekliklerinde sınandı. Ekibin aktardığına göre büyük ölçekli ön eğitime rağmen bu modeller ilk sonuçlarda zayıf genelleşti. Ekip genellemeyi artıran teknikleri tek tek denedi ve bu sorunun hala çözülmekten uzak olduğunu yazıyor.

En dikkat çekici sonuç dünya modelleriyle ilgili. Ekip, robotun hareketlerine göre sahnenin nasıl değişeceğini tahmin eden üç modeli sınadı: 5 milyar parametrelik video modeli Wan 2.2, kendi fizik simülatörünü kuran Astra ve gizli uzayda çalışan LeWM. Her beceri için yarısı başarılı, yarısı küçük konum farkları yüzünden başarısız 900 kayıt üretildi. Blok hareketini ve sonucu en iyi Wan 2.2 tahmin etti. Bu modelin ürettiği 100 yapay deneme eğitime eklendiğinde, robotun hiç görmediği bölgedeki başarısı yüzde 19'dan yüzde 78'e çıktı.

Ekip Claude Opus 5.5 ile çalışan bir ajanı da becerilere MCP üzerinden bağladı. Ajan metin tarifleriyle 30 klasik dizme görevinin 30'unu, kamera görüntüsüne bakarak adım adım ilerlediğinde yine 30'unu çözdü. Bazı harflerin eksik olduğu "bul ve hecele" görevlerinde görevlerin yüzde 63'ünü çözdü ya da yapılamayacağını doğru bildirdi. Hataların çoğu birbirine benzeyen harfleri karıştırmaktan (yüzde 13) ve harfi yan yerleştirmekten (yüzde 15) geldi. Ajan becerilerin nasıl davrandığını kendi küçük deneyleriyle öğrenip kendi tariflerini yazdığında başarı yüzde 24'ten yüzde 63'e çıktı; bir uzmanın yazdığı tarifler yüzde 36'da kalmıştı.

Simülasyondan gerçek masaya

Asıl sınav, yalnız simülasyonda eğitilen modellerin gerçek robotta çalışıp çalışmadığı. Ai2 deneyleri Robotiq tutuculu bir Franka FR3 kolu, ön tarafta bir ZED kamera ve bilekte bir ZED Mini ile, 4 ila 10 bloklu otuz farklı sahnede yaptı. ManiFlow'un tek tek becerilerdeki başarısı simülasyonda yüzde 80,0, gerçek dünyada yüzde 81,1 çıktı. Molmo2 ile ManiFlow'un birlikte üç harfli kelime hecelediği uzun görevlerde başarı simülasyonda yüzde 55,5, gerçek robotta yüzde 50,0 oldu; ekip gerçek dünya örneğinin 30 deneme olduğunu ve daha fazla deneme gerektiğini not ediyor.

Bu geçiş için üç adım uygulandı. Veri üretilmeden önce simülasyondaki eklem sürtünmesi ve motor ataleti gerçek robotun hareketlerine göre ayarlandı. Üretim sırasında blok boyutu, sürtünme, masa yüksekliği, ışık, arka plan ve kamera ayarları rastgele değiştirildi. Çalışma sırasında gürültülü derinlik sensörü yerine iki kamera görüntüsünden FastFoundationStereo ile temiz derinlik haritası çıkarıldı.

Nasıl denenir

ToyBlocks, NVIDIA Isaac Sim ve Isaac Lab üzerine kurulu ve CUDA'lı bir ekran kartı gerektiriyor. Kurulum ve ilk küçük veri setinin üretimi birkaç komutla yapılıyor:

git clone --recursive https://github.com/allenai/toyblocks.git && cd toyblocks
uv venv --python 3.11
uv pip install -e ".[dev,isaac,torch-cu128,vecgen]"
get-toyblocks-assets --asset-manifest asset_manifest.json

# tek ekran kartında iki küçük üç blokluk kule görevi üret
python scripts/datagen/run_datagen_pipeline.py \
    --experiment-id ilk_deneme --output-root data \
    --task-gen-script scripts/task_gen/stack_three.py --task-gen-count 2 \
    --env-per-problem 8 --num-envs 8 --exec-num-envs 8 --vecgen-problems-per-env 1 \
    --render-pass src/toyblocks/domain_randomization/flags/render_flags_plain.yaml

Bu komutlar iki dizme problemini planlayıp oynatıyor, kayıtları işleyip tek bir LeRobot veri setinde birleştiriyor. Belgelerde veri üretimi, ManiFlow eğitimi ve değerlendirme adım adım anlatılıyor. Molmo2-4B-tb bfloat16 ile yaklaşık 20 GB ekran kartı belleği istiyor. Hazır veri seti Hugging Face'te; ilk sürüm 1.600 saate yakın robot hareketi ve 144 milyon kare içeriyor. Bir web arayüzü, Claude ya da başka bir büyük modeli bağlayıp robota doğal dille iş verme imkanı da sunuyor; böylece robotik bilgisi olmayan biri de bir modelin nasıl plan yapıp uyguladığını izleyebiliyor.

Ai2 birkaç hafta içinde daha büyük bir veri seti, daha çok beceri ve pekiştirmeli öğrenme eğitimini de içeren ikinci bir sürüm hedefliyor; iki kollu robotlar ve dokunma algılayıcılı eller sonraki adımlar arasında. Teknik rapor henüz yayımlanmadı ve paylaşılan sonuçlar Ai2'nin kendi deneyleri.

Kaynaklar: Ai2 blog yazısı, GitHub, Molmo2-4B-tb, ManiFlow-tb, Veri seti, Belgeler