BotPsy Model AI Rilis: Asisten On-Device Mungil yang Kalahkan Model 2B

Apa Itu BotPsy Model AI dan Kenapa Menarik?

BotPsy adalah model bahasa berukuran 0,8 miliar parameter (0,8B) yang fokus utamanya ada pada function calling dan alur kerja agen (agentic workflow). Model ini bertindak layaknya asisten pribadi yang memakai berbagai tools buat nuntaskan rupa-rupa tugas ringan sampai menengah. Cakupan kerjanya luas, mulai dari pencarian web dan riset, perjalanan dan gaya hidup, belanja dan finansial, operasional bisnis dan pelanggan, kontrol perangkat dan kendaraan, pengaturan file dan dokumen, sampai urusan kalender serta perpesanan.

Yang bikin makin menarik, BotPsy dirancang pas banget buat kebutuhan deployment on-device kayak di smartphone, laptop pribadi, atau perangkat lokal lain. Karena ukurannya super mungil, komputer kamu nggak bakal megap-megap kehabisan memori. Model ini ngebuka jalan buat eksekusi otomatis yang aman dari risiko bocornya data pribadi, bebas biaya langganan API bulanan, dan tetap bisa diandalkan buat alur kerja harian.

Skor Benchmark: Ungguli Model Lebih Gede Sampai 2,5 Kali Lipat

Hal paling mencengangkan dari BotPsy model AI ada pada lonjakan kemampuannya dibanding model dasar maupun pesaing di kelas bobot yang mirip. BotPsy sukses mengungguli model-model di kelas ≤1,2B parameter kayak Qwen3.5-0.8B-Think, LFM2.5-1.2B-Think, dan MiniCPM5-1B-Think di enam benchmark agen sekaligus.

Bahkan yang bikin geleng-geleng kepala, BotPsy sanggup ngalahin Qwen3.5-2B-Think yang ukurannya 2,5 kali lipat lebih gede pada lima dari enam tolok ukur pengujian. Mari kita intip perbandingan angka resminya di tabel ini:

Satu-satunya pengujian agen di mana Qwen3.5-2B-Think masih unggul tipis cuma di Claw-Eval (48,9 berbanding 46,5). Pada benchmark lainnya, BotPsy mencatat rata-rata 45,0 — hampir dua kali lipat kemampuan model basis aslinya yang cuma ada di angka 24,7.

Lalu gimana nasib pemahaman umumnya? Biasanya, model kecil yang dipaksa belajar tool-use bakal lupa sama pengetahuan dasarnya. Tapi di BotPsy, skor GPQA Diamond justru naik dari 33,2 ke 38,1, dan MMLU-Pro melesat dari 41,6 ke 48,9. Angka ini jadi yang paling tinggi di antara model sekelas di bawah 1,2B parameter. Walaupun model 2B tetap unggul di pengetahuan ensiklopedis murni (GPQA 59,9), BotPsy emang sengaja dirancang bukan buat ngafal isi bumi, melainkan buat manggil tool eksternal pas butuh data faktual.

Lebih Lihai Ngobrol Panjang dan Tahu Kapan Nggak Boleh Manggil Tool

Masalah klasik yang sering bikin jengkel saat nyobain agen AI kecil adalah gampang ngelantur pas diajak ngobrol panjang yang butuh aksi bertahap (multi-turn). Di sinilah peningkatan BotPsy kelihatan nyata banget.

Pada pengujian BFCL v4 multi-turn, skor BotPsy meroket dari 7,5 (pada model dasar) ke 46,1 — hampir dua kali lipat dari skor Qwen3.5-2B-Think yang cuma nembus 23,8. Di pengujian τ²-bench bidang telekomunikasi, di mana AI harus memandu pemecahan kendala pelanggan lewat percakapan panjang dengan aturan ketat, BotPsy sukses nyentuh skor 82,5, ninggalin MiniCPM5-1B-Think (74,0) dan Qwen3.5-2B-Think (69,3).

Selain itu, agen yang pintar juga harus tahu kapan dia nggak boleh bertindak asal-asalan. Pada uji halusinasi BFCL v4 yang ngecek apakah model mau menolak pas nggak ada tool yang pas, BotPsy meraih skor 86,1 alias paling tinggi di antara semua model yang diuji. Di skenario khusus ACEBench (saat permintaan pengguna belum lengkap atau ada parameter yang salah), skornya naik pesat dari 13,7 jadi 51,3.

Rahasia Dapur: Resep Latihan 4 Tahap BotPsy

Kenapa model sekecil 0,8B bisa punya kelihaian agen sehebat ini? Rahasianya ada di resep post-training empat tahap yang memadukan tiga macam umpan balik: tiruan demonstrasi, bimbingan guru spesialis, dan sistem verifikasi aturan yang ketat.

Proses pelatihannya dirancang secara berurutan lewat alur berikut:

1. Supervised Fine-Tuning (SFT): Penyetelan awal parameter penuh memakai data percakapan penggunaan tool. Tahap ini mencakup simulasi alur multi-turn, panggilan tunggal, panggilan paralel, sampai contoh kasus di mana tool sama sekali nggak boleh dipanggil.
2. Multi-teacher On-Policy Distillation (MOPD): Di tahap ini, model bikin jawabannya sendiri, lalu dinilai per-token oleh tiga model guru spesialis (tiga model Qwen3.5-4B yang masing-masing udah dilatih RL khusus buat tool-use, penalaran umum, dan kepatuhan instruksi). Bimbingan guru ini ampuh banget buat ngembaliin pengetahuan umum yang sempat drop pasca-SFT.
3. Reinforcement Learning Ronde 1: Memakai sistem reward berbasis aturan lewat algoritma DAPO (Decoupled Clip and Reward PPO). Sistem verifier ngecek format panggilan fungsi dan ngasih nilai parsial mendalam ala ToolRL buat kecocokan nama fungsi beserta argumennya.
4. Reinforcement Learning Ronde 2: Memperluas latihan ke tugas-tugas verifikasi domain umum kayak matematika, coding, structured outputs, dan simulasi skenario kerja multi-langkah.

Pembagian porsi data yang pas bikin model nggak cuma hafal ngetik format JSON, tapi juga beneran ngerti kapan dan gimana cara mengeksekusi instruksi dengan benar.

Performa per Aplikasi: Perkasa di Ponsel, Meringis di Riset Rumit

Tim peneliti ngebedah performa BotPsy di berbagai kelompok skenario aplikasi nyata, memisahkannya jadi skenario gampang (satu giliran percakapan, satu panggilan fungsi) dan skenario rumit (banyak giliran atau banyak fungsi sekaligus).

Buat skenario gampang, performa BotPsy stabil banget di kisaran skor 70–79 pada hampir semua kategori aplikasi (rata-rata 75 poin, jauh di atas model dasarnya yang cuma dapet 54). Nah, lonjakan terbesar pada tugas rumit multi-langkah tampak jelas di sektor:

• Komunikasi & Sosial: Meraih skor 61 (skor model dasar cuma 13).
• Perdagangan & Layanan: Mencapai skor 58 (skor model dasar 27).
• Manajemen Perangkat & Sistem: Mengantongi skor 46 (skor model dasar 15).

Meski begitu, ada kelemahan yang nyata banget: pencarian informasi dan riset mendalam multi-langkah (Complex Information Retrieval & Research). Pada skenario ini, BotPsy cuma kebagian skor 15. Kasus penelusuran web yang rumit kayak di BrowseComp-Plus terbukti masih jadi PR besar buat semua model di kelas sub-1B.

Efisiensi Berpikir dan Keamanan yang Makin Irit Memori

Buat asisten lokal di smartphone atau laptop, waktu tunggu (latency) itu penentu utama kenyamanan. Kalau AI mikirnya kelamaan dan muter-muter, baterai bakal cepet habis dan perangkat jadi panas. BotPsy dilatih biar nggak bertele-tele saat menalar masalah.

Pada soal-soal yang dijawab bener oleh semua model pembanding, BotPsy butuh token penalaran 3 kali lebih sedikit di GPQA Diamond (3.690 token vs 11.563 pada model dasar) dan 2,7 kali lebih irit di MMLU-Pro (1.912 vs 5.105 token). Penyakit reasoning loop alias AI yang muter-muter mikir tanpa ujung berhasil dipangkas dari 22,9% jadi tinggal 1,4% di IFBench. Jumlah proses yang mentok kena limit 32k token juga terjun bebas dari 28,3% jadi cuma 0,2%.

Di pengujian τ²-bench telekomunikasi, BotPsy cuma butuh rata-rata 13,1 putaran percakapan asisten buat beresin masalah pelanggan, 26% lebih ringkas dibanding model aslinya (17,6 putaran), sambil meloloskan tugas 2,6 kali lebih banyak.

Dari urusan keamanan (red-teaming), BotPsy terbukti lebih tahan banting. Persentase menghasilkan jawaban berbahaya turun jadi 21% (dibandingkan basisnya 36%, LFM2.5 di 35%, dan MiniCPM5 di 47%). Pas dihantam serangan prompt injection lewat output tool yang disusupi hacker, angka kerentanannya turun dari 46% jadi 31%.

Kelemahan dan Batasan yang Perlu Diwaspadai

Walau hasilnya keren banget, tim Tether AI Research ngasih catatan jujur soal batasan model ini:

1. Keterbatasan Bahasa: BotPsy dioptimalkan utama buat bahasa Inggris. Pada uji Multi-IF delapan bahasa, kemampuannya di bahasa dengan sumber daya rendah kayak Hindi (24,5) dan Rusia (57,6) jauh tertinggal dibanding bahasa Inggris, Prancis, Spanyol, atau Mandarin (72–80). Bahasa Indonesia belum diuji secara resmi di laporan ini.
2. Bukan Buat Tugas Kritis Berisiko Tinggi: Model ini cuma disiapin buat tugas tingkat kesulitan rendah sampai menengah. Jangan pakai BotPsy buat urusan medis gawat darurat, analisis hukum berisiko, atau urusan duit secara otomatis (pada tes τ³-banking, semua model sub-billion termasuk BotPsy masih jeblok di bawah angka 5).
3. Kapasitas Pengetahuan Terbatas: Karena bobotnya cuma 0,8B parameter, model ini bukan tempat bertanya rupa-rupa ensiklopedia. Dia wajib disambungkan ke tool pencari atau database eksternal biar nggak ngarang bebas pas ditanya fakta.

Cara Nyobain BotPsy Model AI dan Format yang Tersedia

Tether AI Research ngerilis model ini di Hugging Face dengan lisensi terbuka Apache 2.0 buat riset dan pendidikan. Kamu bisa langsung comot bobot modelnya sesuai kebutuhan perangkat:

• Hugging Face safetensors: Pas banget buat kamu yang biasa ngoding Python pakai library PyTorch dan Transformers.
• GGUF (bf16, Q8, Q4): Format ringkas yang siap dijalankan langsung di laptop atau HP lewat llama.cpp, Ollama, atau QVAC SDK.

Contoh konfigurasi prompt sistem sederhana buat nyobain fungsi lokal BotPsy bisa kamu tiru kayak format berikut:

You are BotPsy, a helpful on-device assistant. You have access to local device tools: [set_alarm, toggle_wifi, search_contacts]. Analyze the user's request carefully. If a tool is required, generate the function call in valid JSON format. If no tool matches or required arguments are missing, politely ask the user for clarification. User: Matikan wifi dan pasang alarm besok pagi jam 6.

Efek Nyata Buat Developer dan Pengguna di Indonesia

Perkembangan model kayak BotPsy ngebuka peluang emas buat developer aplikasi di Indonesia. Developer aplikasi mobile atau sistem kasir UMKM sekarang bisa nyelipin fitur asisten pintar langsung di aplikasi Android tanpa waswas mikirin tagihan bulanan API yang membengkak.

Dari sisi kepatuhan regulasi UU Pelindungan Data Pribadi (UU PDP), model lokal begini jelas jadi penyelamat. Data sensitif seperti rekaman chat, kontak pelanggan, atau catatan transaksi toko nggak perlu lagi dikirim lewat internet ke server luar negeri karena semuanya beres diproses langsung di memori HP atau komputer kantor.

Kalau kamu pengin ngebangun sistem hybrid—pakai model lokal mungil buat tugas rutin sehari-hari dan manggil model cloud saat butuh penalaran rumit—kamu bisa memanfaatkan Classai Router. Cukup pakai satu API key yang kompatibel dengan format SDK standar, aplikasimu bisa fleksibel manggil model pintar kayak qwen3.7-plus (Rp810 per 1 juta token input) atau deepseek-v4-flash (Rp1.020 per 1 juta token input) sewaktu pengguna butuh analisis mendalam.

Buat kamu yang mau ngasah skill ngerancang arsitektur agen otomatis dan integrasi API cerdas dari nol, kamu bisa belajar langsung lewat materi praktis di kelas AI untuk Developer.