NVIDIA Nemotron 3.5 Rilis: Fondasi Baru Retrieval AI Agent

Kenapa AI Agent Sering Boros Token dan Muter-Muter?

Kualitas jawaban agent itu bergantung banget sama bukti yang berhasil ditarik dari database. Bayangin kamu minta agent buat ngecek produk mana yang berisiko kehabisan stok kuartal depan beserta alasannya. Agent harus ngebaca grafik tren permintaan di chart, tabel sisa barang di inventaris, dan laporan pengiriman supplier, lalu nalarin semuanya barengan.

Kalau sistem retrieval cuma ngasih potongan teks yang meleset, agent bakal manggil tool pencarian berkali-kali. Setiap putaran pencarian itu makan token input dan output yang lumayan banyak. Nah, NVIDIA nguji performa Nemotron 3.5 Embed dan Rerank di berbagai pengujian kayak ViDoRe v3 (gabungan teks dan gambar), BRIGHT, dan BrowseComp-Plus buat ngukur seberapa jauh retrieval yang bagus bisa nekan konsumsi token.

Hasilnya kelihatan jelas banget. Dengan nambahin Nemotron 3.5 Rerank, biaya token per query agent terpangkas sekitar 14% saat dipadukan dengan Nemotron 3.5 Embed 8B, dan hemat 13% bareng Embed 1B. Akurasinya pun ikutan naik, bahkan ngalahin Qwen3-VL-Reranker-8B sekitar 0,9 poin nDCG@10 pada batas biaya token yang sama.

Mengenal Keluarga NVIDIA Nemotron 3.5: Parse, Embed, dan Rerank

NVIDIA nggak cuma ngerilis satu model raksasa yang berat, tapi ngebagi tugas ke beberapa varian model terbuka yang siap dipakai produksi. Ada tiga pilar utama yang disediakan buat kebutuhan retrieval modern:

Menariknya, komponen teks pada model Embed tetap mempertahankan bobot dasar Nemotron 3 Embed sebelumnya karena bagian bahasa dibekukan saat pelatihan. Jadi kalau kamu udah punya indeks vektor teks lama, kamu nggak perlu re-indexing dari nol buat data teksnya.

Nemotron 3.5 Embed: Jagoan Multimodal Teks dan Gambar

Kelemahan klasik pencarian vektor biasa adalah ketidakmampuannya memahami isi bagan, alur skematik, atau infografis. Nemotron 3.5 Embed ngebangun kemampuan barunya di atas arsitektur Ministral-3-8B-Instruct dengan teknik contrastive learning pada korpus teks dan visual.

Di leaderboard ViDoRe v3.1, Nemotron 3.5 Embed 8B BF16 duduk di peringkat pertama untuk kategori dense retrieval dengan skor 61,17 nDCG@10. Skor ini melonjak 8,94 poin dibanding model generasi sebelumnya, Llama Nemotron Embed VL 1B yang meraih 52,23.

Buat yang punya keterbatasan resource infrastruktur, varian 1B BF16 hasil distilasi juga sangat bertenaga. Model mini ini mencetak skor 58,38 nDCG@10, alias masih mempertahankan 95,4% kemampuan model gurunya yang berukuran 8B berkat kombinasi kerugian cosine dan mean squared error (MSE).

Di pengujian multibahasa MIRACL Vision yang mencakup 18 bahasa, varian 8B tembus skor 72,6 nDCG@10, unggul 4,3 poin di atas Qwen3-VL-Embedding-8B. Pada pengujian KoViDoRe untuk bahasa Korea, model Embed 8B dan 1B juga melampaui baseline Qwen saat mengolah input kombinasi gambar dan teks. Secara keseluruhan, pengujian teks murninya sendiri mencakup hingga 34 bahasa.

Nemotron 3.5 Rerank: Saring Bukti Paling Relevan Buat Agent

Model embedding bertugas ngumpulin kandidat dokumen yang mirip dari database vektor. Tapi, apakah dokumen yang mirip secara semantik itu bener-bener ngejawab inti pertanyaan? Belum tentu. Di sinilah peran Nemotron 3.5 Rerank 8B BF16 sebagai cross-encoder.

Model reranker ini mengevaluasi pasangan query dan dokumen secara bersamaan menggunakan kepala skoring multilayer perceptron (MLP) untuk menghasilkan nilai relevansi skalar. Pada benchmark reranking ViDoRe v3.1 yang baru diluncurkan bersama tim MTEB, Nemotron 3.5 Rerank 8B meraih nilai 60,49 nDCG@10 pada input gabungan gambar dan teks, melampaui Qwen-3-VL-Reranker-8B yang dapet 59,17.

Dengan membuang dokumen yang kurang relevan sebelum masuk ke context window LLM utama, agent kamu nggak bakal bingung kena distraksi konteks. Mirip kayak konsep pemilihan tools runtime yang pernah kita bahas di artikel /developer/aws-agent-registry-runtime-tool-discovery-ai, ketepatan pemilihan konteks dan bukti adalah kunci utama penghematan biaya inferensi.

Nemotron 3.5 Parse: Bikin PDF dan Dokumen Rumit Jadi Terstruktur

Sebelum data bisa di-embed atau di-rerank, masalah terbesarnya sering kali ada di dokumen mentah: PDF hasil scan, laporan keuangan berantakan, atau tabel tanpa garis batas. Nemotron 3.5 Parse hadir dengan ukuran mungil 631 juta parameter khusus buat ngeberesin urusan ini.

Model ini mengonversi gambar dokumen jadi teks terbaca mesin dalam format Markdown atau tabel HTML sembari mempertahankan tata letak, koordinat visual, dan urutan baca aslinya.

Di benchmark ParseBench, Nemotron 3.5 Parse berhasil jadi nomor satu untuk kategori model sub-1B parameter dengan skor 75,20 sembari memproses 10,5 halaman per detik pada satu GPU NVIDIA H100. Developer juga bisa memilih mode inferensi sesuai kebutuhan:

Mode single pass sangat cocok buat memproses tumpukan dokumen dalam jumlah besar dengan cepat. Sedangkan mode double dan triple pass bakal memotong ulang (crop) area tabel atau grafik rumit yang terdeteksi di awal biar hasil pembacaannya jauh lebih akurat.

NVIDIA ngelatih model Parse ini menggunakan data sintetis beragam serta penguatan pasca-pelatihan Group Relative Policy Optimization (GRPO) dengan reward function khusus. Pendekatan ini efektif ngilangin repetisi teks berulang dan tag yang nggak tertutup, sekaligus memperluas jangkauan OCR hingga mencakup 163 kombinasi bahasa dan aksara.

Di luar riset retrieval dokumen perkantoran ini, NVIDIA juga terus mengeksplorasi simulasi visual generatif mendalam di berbagai bidang khusus lainnya, seperti riset bedah klinis yang dipublikasikan dalam waktu berdekatan.

Kinerja di Skala Produksi: Kuantisasi NVFP4 dan Akselerasi NIM

Akurasi tinggi tentu kurang mantap kalau bikin server kewalahan saat traffic lagi padat. NVIDIA ngasih dua opsi deployment yang bikin ngiler tim engineer:

1. Kuantisasi NVFP4 pada Model 1B: Saat dijalankan di chip NVIDIA GB200, varian 1B NVFP4 sanggup memproses 128,8 dokumen per detik, alias 27,1% lebih ngebut dari versi BF16 (101,3 dokumen/detik). Kerennya, akurasinya di ViDoRe v3 masih bertahan di angka 99,85% dibanding model dasarnya.
2. Akselerasi NVIDIA NIM: Pengujian di GPU NVIDIA RTX PRO 6000 Blackwell Server Edition nunjukin throughput NVIDIA NIM tembus 6.031 query per detik. Angka ini sekitar 2,9 kali lipat lebih kencang dibanding setup vLLM standar yang mencatat 2.099 query per detik.

Mitra enterprise dunia udah merasakan keunggulan model ini secara langsung. Elastic mengintegrasikannya lewat Elasticsearch Inference API. Vectorize mencatat skor teratas pada benchmark memori percakapan panjang LoCoMo (93,8% recall@10) dan BEAM 100K (65,9%). Sementara Q2D-Web oleh Perplexity serta pengujian Turbopuffer pada pencarian PDF bisnis memperlihatkan hasil penemuan bukti yang lebih tajam hingga 5% dibanding baseline sebelumnya.

Cara Mencoba dan Fine-Tuning NVIDIA Nemotron 3.5

Bobot model Nemotron 3.5 sudah tersedia terbuka di Hugging Face, microservice container di NVIDIA NIM, serta mitra cloud inferensi kayak Baseten, DeepInfra, dan FriendliAI. Kalau dokumen kantormu punya istilah yang sangat spesifik, kamu bisa memanfaatkan panduan NVIDIA NeMo AutoModel.

Berikut langkah ringkas kalau kamu pengin mengintegrasikannya ke dalam proyek AI agent milikmu:

1. Pilih lingkungan deployment: Unduh checkpoint dari Hugging Face untuk hosting mandiri, atau pakai endpoint NVIDIA NIM untuk kemudahan deployment skala produksi.
2. Ekstraksi dokumen via Nemotron Parse: Masukkan dokumen PDF ke endpoint Parse untuk menghasilkan struktur teks Markdown dan tabel HTML yang rapi.
3. Buat embedding multimodal: Generate representasi vektor dokumen pakai Nemotron 3.5 Embed (pilih 8B untuk kualitas puncak atau 1B NVFP4 untuk efisiensi tinggi).
4. Pasang Reranker di pipeline RAG: Setelah database vektor mengambil 50 kandidat teratas, masukkan ke Nemotron 3.5 Rerank 8B untuk menyaringnya menjadi 5 sampai 10 bukti terbaik.
5. Fine-tuning dokumen khusus (Opsional): Manfaatkan resep fine-tuning Nemotron jika akurasi pada bagan spesifik masih perlu ditingkatkan. Pada eksperimen NVIDIA memakai 8.591 query sintetis dari Qwen3.8-Flash-Next, fine-tuning model 1B selama satu epoch sanggup mendongkrak skor nDCG@10 sebesar 18% (dari 37,34 naik ke 44,12).

Kamu juga bisa ngasih prompt terstruktur ke agent kamu biar cara kerja pencariannya makin rapi dan terarah, contohnya kayak gini:

Kamu adalah agent analis inventaris. Tugasmu mencari risiko kehabisan stok barang di kuartal depan.1. Gunakan search_tool untuk mengambil data dari laporan supplier dan grafik perkiraan permintaan.2. Pastikan bukti mencakup angka sisa stok di tabel gudang dan estimasi waktu kirim (lead time).3. Evaluasi apakah jadwal pengiriman mencukupi sebelum stok habis.4. Sertakan referensi halaman dan judul tabel pada jawaban analisismu.

Apa Dampak Rilis Ini Buat Pembaca dan Developer di Indonesia?

Buat ekosistem teknologi di Indonesia, kehadiran seri model Nemotron 3.5 ini ngasih beberapa manfaat nyata:

• Digitalisasi Dokumen Lokal Makin Gampang: Banyak kantor, instansi, dan UMKM di Indonesia masih menyimpan arsip berupa pindaian PDF, nota belanja, atau formulir tabel yang berantakan. Model Parse dengan dukungan OCR luas di 163 kombinasi bahasa dan aksara bisa jadi solusi ekstraksi data otomatis tanpa ketergantungan software proprietary yang mahal.
• Kepatuhan Privasi Data Lokal (UU PDP): Berhubung bobot model Nemotron 3.5 dirilis terbuka dan berlisensi komersial, perusahaan perbankan atau startup di Indonesia bisa menginstalnya langsung di server on-premise lokal, sehingga privasi data sensitif tetap terjaga aman di dalam negeri.
• Penghematan Biaya Operasional Sistem AI: Pemangkasan konsumsi token inferensi hingga 14% bakal sangat berasa di dompet operasional jika aplikasimu melayani ratusan ribu percakapan per hari. Konteks yang ringkas dan padat juga bikin LLM lebih jarang berhalusinasi.

Ketika bukti dokumen dari sistem retrieval sudah siap, kamu tetap membutuhkan model bahasa utama yang cerdas untuk merangkai jawaban akhir. Melalui Classai Router, kamu bisa mengakses berbagai model reasoning dan komputasi cerdas seperti Nemotron 3.5 Super (cuma Rp1.500 / Rp2.000 per 1 juta token) cukup pakai satu API key standar tanpa perlu kartu kredit luar negeri.

Buat kamu yang mau memperdalam keahlian bikin arsitektur agent, integrasi API AI modern, dan automasi sistem kerja, langsung aja pelajari materi lengkapnya di Kelas AI untuk Developer. Selamat mencoba meracik pipeline RAG multimodal yang makin hemat dan akurat!