NVIDIA Cosmos 3 Rilis: 4 Model Open Source Simulasi Dunia Interaktif

Apa Itu NVIDIA Cosmos 3 dan Kenapa Bikin Heboh?

Buat kamu yang belum familiar, world model atau model dunia adalah sistem AI yang dilatih buat memahami aturan fisika dan memprediksi apa yang bakal terjadi selanjutnya kalau sebuah aksi diambil di lingkungan tertentu. Lewat nvidia cosmos 3, NVIDIA mau ngasih fondasi terbuka supaya developer nggak perlu lagi bikin model simulasi fisik dari nol.

Selama ini, robotika dan sistem mobil otonom punya masalah klasik: melatih AI di jalanan asli atau pakai robot fisik itu mahal banget, berisiko bikin hardware rusak, dan butuh waktu lama. Solusinya ya simulasi. Tapi simulator fisika biasa sering kelihatan kaku dan beda jauh sama dunia nyata. Nah, model open-weight Cosmos 3 Nano ini hadir menjembatani jarak itu dengan menghasilkan video fotorealistik yang sinkron dengan pembacaan sensor dan input kemudi secara real-time.

Keempat model ini punya 16B parameter yang bisa dilatih ulang (trainable parameters). NVIDIA juga membagikan seluruh alur post-training, data contract, sampai file notebook biar kamu bisa menyesuaikan modelnya dengan sensor atau robot milikmu sendiri.

4 Checkpoint Baru Model NVIDIA Cosmos 3

Keempat model yang dirilis punya spesialisasi tugas yang saling melengkapi. Berikut ringkasan keempat checkpoint tersebut:

Mari kita bahas detail masing-masing model biar makin paham cara kerjanya di lapangan.

Transfer-Auto vs Sim-Auto: Solusi Mobil Otonom

Buat riset autonomous vehicle (AV), tampilan visual kamera dan data sensor geometri harus klop 100%. Di sinilah peran duet Transfer-Auto dan Sim-Auto.

Cosmos3-Nano-Transfer-Auto

Model ini bekerja secara bidireksional buat bikin data sintetik berkendara secara offline. Transfer-Auto sanggup menghasilkan video yang tersinkronisasi mulus sampai 11 sudut pandang kamera sekaligus, termasuk kamera jenis fisheye. Nggak cuma warna (RGB), model ini bisa sekaligus ngehasilin data jarak sensor LiDAR.

Developer bisa ngatur struktur jalanan dan pergerakan lalu lintas lewat World Scenario Map (WSM). Tampilan visualnya bisa diatur gampang pakai prompt teks, misalnya mau kondisi hujan badai, malam hari, kabut tebal, atau pencahayaan sore. Kamu juga bisa memasukkan gambar RGB awal sebagai patokan tampilan visual lingkungan. Untuk mencoba alurnya, developer bisa langsung membuka notebook Transfer-Auto atau menjalankan instruksi di skill inferensi Transfer-Auto.

Cosmos3-Nano-Sim-Auto

Kalau Transfer-Auto fokus ke pembuatan data batch secara offline, Sim-Auto adalah versi streaming interaktif hasil distilasi kausal. Model ini ngehasilin potongan kecil video kamera dan LiDAR secara berurutan cuma dalam beberapa langkah denoising.

Sim-Auto memakai rekaman history sebelumnya ditambah kontrol kemudi baru dari driver atau AI agent. Untuk menjalankan simulasi closed-loop penuh, kamu butuh simulation runtime dan renderer WSM yang bertugas memperbarui peta kontrol tiap kali kendaraan berbelok atau ngerem. Pengembang bisa langsung menjalankan eksperimen lewat notebook Sim-Auto dan melihat panduan di skill inferensi Sim-Auto.

Sim-Transfer dan Sim-Bimanual: Visualisasi Simulator Fisik dan Robotika

NVIDIA juga ngasih perhatian besar buat dunia robotika lewat dua checkpoint lainnya: Sim-Transfer dan Sim-Bimanual.

Cosmos3-Nano-Sim-Transfer

Simulator fisika konvensional jago banget menghitung kontak tabrakan, gaya gesek, dan pergerakan objek, tapi grafisnya sering kali polos. Sim-Transfer hadir mengambil kontrol spasial dari simulator itu lalu merendernya jadi video RGB fotorealistik.

Kontrol spasial yang diterima meliputi:

• Depth: perkiraan jarak relatif objek dari kamera.
• Segmentation: batas wilayah dan jenis objek.
• Edges: garis kontur pemandangan.
• Blur: perkiraan kasar tata letak dan bentuk.

Prompt teks dipakai buat nentuin gaya visualnya, sementara kalkulasi fisika tetap dipegang simulator aslinya. Alurnya sederhana: Aksi → update simulator → kontrol spasial → video RGB hasil generasi → aksi robot berikutnya. Kamu bisa menjalankan proses ini via notebook Sim-Transfer vLLM-Omni atau mengecek skill inferensi Sim-Transfer.

Cosmos3-Nano-Sim-Bimanual

Checkpoint ini khusus mensimulasikan bagaimana lingkungan fisik bereaksi saat robot dua lengan (bimanual robot) bergerak memegang atau memindahkan barang. Model ini udah dites langsung mendukung robot bimanual platform YAM dan AgiBot, baik dikendalikan oleh policy AI maupun stik joystick manusia.

Sim-Bimanual memakai 59 nilai kontrol aksi (yang di-pad jadi 64 dimensi waktu training). Skema aksinya dijabarkan di action schema resmi dan data contract yang mencakup sistem koordinat, rotasi sendi, kalibrasi gripper pencapit, validity mask, dan domain kontrol. Beda sama Sim-Transfer yang butuh simulator pihak ketiga, Sim-Bimanual langsung memprediksi wujud video dari gabungan gambar lingkungan dan vektor aksi robot. Panduan eksekusinya tersedia di skill inferensi Sim-Bimanual.

Cara Kerja Streaming Generation di Arsitektur Cosmos 3

Di balik kemampuannya merender simulasi secara mulus, Cosmos 3 mengandalkan arsitektur backbone bernama Mixture-of-Transformers. Jaringan pemroses teks dan jaringan pembentuk visual dihubungkan lewat mekanisme attention.

Alur generasinya berjalan secara bertahap: Kontrol + history frame → bikin chunk baru → decode gambar → update history. Model ini bekerja pada representasi video terkompresi yang disebut latents. Setelah gambar awal dimasukkan, tiap satu langkah waktu latent mewakili 4 frame RGB asli.

Model Transfer memprediksi 1 langkah latent per chunk, sedangkan model Bimanual yang sudah dioptimasi sanggup memprediksi 2 langkah latent per chunk. Denoising memanfaatkan temporal-causal attention yang bisa membaca data history sebelumnya tanpa membocorkan target masa depan, dibantu key/value (KV) cache biar kalkulasi langkah selanjutnya tetap kencang.

4 Tahap Training Recipe: Rahasia Simulasi Bebas Error Menumpuk

Salah satu masalah terbesar model video prediktif adalah error compounding: kalau model salah sedikit aja nebak posisi gelas di detik pertama, kesalahan itu bakal kebawa terus sampai videonya rusak di detik-detik berikutnya. Konsep pemadatan dan penyempurnaan model ini punya kemiripan prinsip dengan apa yang diulas di artikel Distilasi Agen SageMaker AI. NVIDIA mengatasi persoalan ini lewat 4 tahapan training:

1. Stage 0 — Bidirectional Adaptation: Model belajar memahami relasi antara kontrol dan video dari rekaman klip lengkap secara dua arah.
2. Stage 1 — Teacher Forcing: Model memprediksi potongan video dari observasi masa lalu yang bersih, sementara target masa depan ditutup.
3. Stage 2 — Consistency Distillation: Guru model yang dibekukan melatih student model biar mampu menghasilkan chunk video hanya dalam 4 denoising steps.
4. Stage 3 — Self-Forcing: Model dilatih menggunakan history yang dihasilkan oleh dirinya sendiri. Model guru beku dan auxiliary score model bertindak sebagai penilai kecocokan distribusi visual.

Selain riset simulasi dunia ini, tim pengembang di NVIDIA juga aktif merilis berbagai model fondasi terbuka lain di ekosistem open-weight mereka, seperti lini model Nemotron terdahulu.

Kebutuhan Sistem dan Langkah Nyobain Modelnya

Untuk menjalankan inferensi model bimanual dengan arsitektur vLLM-Omni, setup resmi NVIDIA menggunakan sistem operasi Linux, GPU NVIDIA modern, Docker, serta NVIDIA Container Toolkit. Pengujian di lab NVIDIA dilakukan pada satu GPU GB200, meskipun spesifikasi ini bukan batas memori minimum mutlak.

Berikut langkah praktis buat kamu yang mau mulai mengadaptasi atau mencoba checkpoint Cosmos 3:

1. Siapkan Environment: Pasang OS Linux dengan driver GPU NVIDIA terbaru, Docker, dan NVIDIA Container Toolkit.
2. Pilih Checkpoint yang Sesuai: Ambil Transfer-Auto atau Sim-Auto buat kendaraan otonom, atau pilih Sim-Transfer dan Sim-Bimanual buat aplikasi robotika.
3. Pelajari Skema Kontrol: Unduh berkas data contract dan action schema resmi biar format koordinat dan orientasi gripper robot kamu cocok.
4. Gunakan Coding Agent: Kamu bisa mengarahkan AI coding assistant buat menyiapkan pipeline inferensi dengan membaca spesifikasi skill yang udah disediakan NVIDIA.

Contoh instruksi prompt siap pakai untuk coding agent kamu:

Saya ingin menjalankan inferensi model NVIDIA Cosmos3-Nano-Sim-Bimanual menggunakan framework resmi. Tolong baca data contract di references/data-contract.md dan file unified-v1-action-schema.md. Siapkan script Python untuk memuat checkpoint 16B ini, validasi vektor aksi 59 nilai yang dinormalisasi, dan jalankan loop prediksi observasi video frame demi frame.

Dampak Nyata Buat Developer dan Peneliti AI di Indonesia

Kehadiran nvidia cosmos 3 membawa angin segar buat komunitas teknologi di Indonesia, terutama buat kampus, startup logistik otonom, dan developer robotika. Riset robotika lokal sering kali terbentur anggaran pengadaan robot fisik yang harganya miliaran rupiah. Lewat simulator visual fotorealistik open source ini, tim peneliti bisa melatih policy reinforcement learning di komputer terlebih dahulu sebelum diterjunkan ke robot sungguhan.

Di sisi lain, buat pengembang aplikasi dan sistem otonom yang butuh integrasi model bahasa buat ngontrol agen robot, kamu bisa memadukan model world simulation ini dengan LLM penalaran logika. Kalau kamu butuh API model bahasa berkecepatan tinggi buat merancang otak perencana agen AI tanpa ribet sewa server LLM mandiri, kamu bisa memanfaatkan Classai Router. Classai Router menyediakan akses mudah ke model unggulan seperti GPT-4o (Rp525 / Rp2.700 per 1M token) atau DeepSeek V4.1 Flash (Rp1.155 / Rp4.200 per 1M token) dengan sistem bayar per token pakai saldo rupiah via QRIS.

Buat developer yang pengin mendalami cara membangun arsitektur aplikasi cerdas modern, kelas seperti AI untuk Developer juga bisa jadi bekal praktis buat ningkatin skill kodingmu.

Langkah berani NVIDIA membuka bobot model Cosmos 3 membuktikan kalau kompetisi AI dunia saat ini udah bergeser dari sekadar model teks ke arah simulasi pemahaman fisik dunia nyata. Dengan model terbuka ini, siapa pun sekarang punya modal awal yang sama buat bereksperimen.