Ai2 Buka ToyBlocks dengan 85 Ribu Demonstrasi untuk Melatih Robot
Allen Institute for AI (Ai2) merilis ToyBlocks pada 6 November 2026, sebuah simulasi terbuka berisi lengan robot dan balok di atas meja untuk meneliti bagaimana robot belajar dan mengapa mereka gagal. Rilis perdana ini memuat 85.336 demonstrasi jangka panjang yang mencakup hampir 1.600 jam eksekusi robot dan 144 juta frame, dihasilkan otomatis sampai 24 kali kecepatan waktu nyata pada satu GPU. Langkah ini penting karena melatih robot lewat teleoperasi manusia mahal dan sulit diskalakan, sehingga lab kecil dan kampus butuh tempat uji yang bisa diulang.
Apa Itu ToyBlocks dan Bagaimana Cara Kerjanya?
ToyBlocks adalah lingkungan simulasi terbuka dari Ai2 berisi lengan robot dan balok berlabel di atas meja, yang dipakai untuk melatih dan menguji model robot secara terkontrol. Menurut Ai2, ini adalah FoundationWorld pertama, yaitu simulasi sempit yang dipadukan dengan generator tugas, generator demonstrasi, dan metrik untuk mengukur perilaku robot.
Skill jangka pendek seperti mendorong atau membalik balok dilatih dengan reinforcement learning dan motion planning di Isaac Lab, kerangka simulasi robot sumber terbuka milik Nvidia. Simulator boleh memakai informasi istimewa, misalnya posisi dan orientasi balok yang persis, sesuatu yang tidak dimiliki robot nyata. Karena itu, perilaku yang di dunia nyata butuh teleoperasi bisa dihasilkan otomatis.
Sebuah task-and-motion planner lalu memilih dan menyusun skill untuk menyelesaikan tugas, dan setiap rencana dijalankan di simulasi untuk menghasilkan demonstrasi berlabel. Ai2 menyebut ratusan rencana bisa berjalan paralel pada satu GPU dengan kecepatan sampai 24 kali waktu nyata. Tugasnya tidak sekadar menumpuk balok, sebab huruf dan gambar di sisi balok menuntut robot memutar balok untuk melihat sisi yang tersembunyi.
Rilis awal berisi 85.336 demonstrasi jangka panjang, tiap demonstrasi terdiri dari sekitar 6 sampai 12 demonstrasi skill, mencakup hampir 1.600 jam dan 144 juta frame, menurut Unite.AI yang mengutip Ai2. Data tersimpan dalam format LeRobot dengan lisensi ODC-BY, sedangkan kode utamanya berlisensi Apache 2.0 dan sebagian submodul membawa lisensi sendiri.
Mengapa Robot yang Sudah Dilatih Sering Gagal di Posisi Baru?
Robot sering gagal karena yang dipelajarinya adalah pola sempit, bukan konsep. Dalam contoh Ai2, model robot dari startup Physical Intelligence yang diberi 1.000 contoh simulasi menumpuk balok hijau di atas balok merah nyaris selalu berhasil di satu area meja, tetapi hampir selalu gagal saat diminta menumpuk di bagian meja yang lain, lapor Seattle Times.
"Bagi manusia, ini sepele," kata Dieter Fox, peneliti robotika yang tahun lalu direkrut Ai2 dari lab robotika Nvidia di Seattle. Menurut Fox, robot itu belum belajar menumpuk balok. Robot itu hanya belajar menumpuk balok di satu tempat. ToyBlocks dirancang sebagai tempat untuk menguji apakah tambahan data benar-benar memperbaiki masalah seperti ini.
Blog Ai2 menguji tiga model aksi populer, yaitu ManiFlow, π0.5, dan MolmoAct 2, pada tugas menumpuk, membongkar, membalik, dan memutar balok. Ai2 membedakan interpolasi, yaitu konfigurasi baru di dalam rentang latihan, dari ekstrapolasi, yaitu konfigurasi di luar rentang itu. Hasil awalnya menunjukkan model-model tersebut memiliki generalisasi yang buruk meski sudah dilatih awal dalam skala besar.
Florian Shkurti, peneliti tamu dari University of Toronto di tim Ai2, menilai cara lama melatih robot tidak akan bertahan. Praktik umum hari ini adalah manusia mengarahkan robot menyelesaikan tugas berulang kali. "Kami tidak berpikir cara itu bisa diskalakan," kata Shkurti, sebab sepuluh kali lebih banyak contoh berarti sepuluh kali lebih banyak jam kerja manusia yang harus dibayar.
Apa Kata Hasil Awal untuk Agen dan Model Frontier?
Hasil awal menunjukkan model frontier kuat dalam perencanaan, tetapi masih keliru pada persepsi. Dengan Claude Opus 5.5 sebagai perencana, agen Ai2 menyelesaikan 30 dari 30 tugas menumpuk balok, namun pada tugas mencari dan mengeja kata tiga huruf hanya 63 persen tugas yang diselesaikan atau dinyatakan mustahil dengan benar.
Pada tugas mengeja, agen harus menemukan balok berhuruf di antara maksimal delapan balok, dan 50 persen adegan sengaja tidak memuat semua huruf yang dibutuhkan. Kesalahan terbesar datang dari orientasi huruf yang salah dalam tumpukan (15 persen) dan huruf mirip yang tertukar (13 persen). Ai2 menyebut kesalahan persepsi seperti ini masih sering muncul di model frontier.
Ai2 juga menguji apakah agen bisa belajar cara kerja skill-nya sendiri lewat eksperimen kecil. Dengan deskripsi skill bawaan, tingkat keberhasilan hanya 24 persen. Deskripsi yang ditulis agen sendiri setelah bereksperimen menaikkannya menjadi 63 persen, mengungguli 36 persen yang dicapai deskripsi buatan pakar manusia. Hasil ini memberi contoh konkret bagaimana agen bisa memperbaiki alatnya sendiri.
Russ Tedrake, profesor robotika di MIT sekaligus salah satu pendiri dan CEO Walden Robotics, menilai sikap para peneliti sudah bergeser. Menurut Tedrake, model baru dari OpenAI dan Anthropic membuat adegan simulasi yang detail bisa dibuat sesuai permintaan, dan para peragu lama kini "suddenly hiring simulation engineers", seperti dikutip Seattle Times.
Dampaknya bagi Peneliti dan Perusahaan di Indonesia
Bagi peneliti dan perusahaan di Indonesia, ToyBlocks menurunkan biaya masuk riset robotika karena simulasi, data demonstrasi, model, dan kode evaluasi dibuka untuk publik. Tim yang belum punya lengan robot mahal tetap bisa mengulang eksperimen Ai2, lalu membandingkan metode mereka dengan hasil yang sama pada tugas yang sama.
Pelajaran praktisnya ada pada kualitas data, bukan sekadar jumlahnya. "Yang benar-benar penting adalah jenis keragaman yang tepat dalam data itu," kata Fox. Perusahaan yang berencana melatih robot untuk gudang atau lini produksi sebaiknya merancang variasi posisi, ukuran, dan tampilan objek sejak awal, bukan hanya mengumpulkan lebih banyak rekaman.
Ai2 sendiri mengingatkan bahwa ToyBlocks sengaja dibuat sederhana dan generalisasi model aksi masih jauh dari selesai. Hasil di meja balok belum tentu berlaku di pabrik, jadi perusahaan dan kampus di Indonesia yang mempertimbangkan otomasi robotik perlu menguji di kondisi nyata sebelum berinvestasi besar. Tim Ai2 sendiri hanya sekitar 15 orang dan mengundang komunitas ilmiah untuk ikut mengembangkannya.
(Burung Hantu Infratek / Berbagai Sumber)
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait Ai2 dan Riset AI Terbuka
🧠 Thinking Machines Rilis Inkling 2 Small; Bobot Apache 2.0 Menyusul Pekan Depan
📊 METR Nilai Riset AI Anthropic Dua Kali Lebih Cepat; 80 Persen Berkat AI
⚡ AWS SageMaker Kini Bisa Membelah Satu GPU Jadi Tujuh Bagian untuk Banyak Model
🤖 Mistral Buka Agen Terkelola dan Aplikasi di Studio untuk Perusahaan
Sumber dan Referensi
[1] ToyBlocks: A controlled world for robot learning and evaluation - Ai2
[2] Ai2 Releases ToyBlocks to Test How Robots Learn and Fail - Unite.AI
[3] Why a Seattle AI lab is making robots play with toy blocks - The Spokesman-Review (Seattle Times)