OpenAI Decisions API Rilis: Bikin AI Agent 10x Lebih Cepat

Apa Itu OpenAI Decisions API dan Kenapa Penting?

Dalam membangun arsitektur aplikasi cerdas, aplikasi atau agent AI sering banget dihadapkan pada keputusan-keputusan kecil. Misalnya, menentukan apakah pesan pengguna masuk kategori komplain, memilih tools mana yang harus dipanggil selanjutnya, atau memvalidasi apakah gambar struk belanja buram atau jelas. Keputusan kayak gini sebenarnya simpel, tapi kalau diproses pakai Large Language Model (LLM) standar lewat Responses API biasa, biayanya mahal dan makan waktu 1 sampai 3 detik per langkah.

OpenAI Decisions API hadir buat memecahkan masalah itu. API ini ditenagai oleh model GPT-6 Luna yang difokuskan khusus buat menjawab pertanyaan-pertanyaan yang batas pilihannya sudah jelas (bounded answers). API ini bisa membaca input teks, gambar, maupun format JSON terstruktur secara langsung.

Beda dengan chat completions biasa yang menghasilkan jawaban teks panjang, endpoint Decisions fokus ngasih keputusan terstruktur dengan latensi super tipis. Product Lead OpenAI APIs, Nikunj Handa, mengungkapkan bahwa timnya berhasil memangkas waktu respons dari 1–3 detik menjadi cuma 100 sampai 180 milidetik. Perubahan kecepatan ini bikin alur agent terasa instan dan natural di mata pengguna.

Fondasi GPT-6 Luna di Balik Layar Decisions API

Menariknya, OpenAI tidak merancang model dasar yang benar-benar baru dari nol buat endpoint ini. OpenAI memanfaatkan kecerdasan model GPT-6 Luna yang sebelumnya sudah dirilis berbarengan dengan GPT-6 Sol. Tim engineering OpenAI mengonfigurasi ulang Luna agar inferensinya fokus mengeksekusi jawaban terikat secara kilat tanpa membuang daya komputasi.

Dengan memanfaatkan arsitektur GPT-6 Luna, API ini tetap mempertahankan pemahaman konteks tingkat tinggi namun bekerja dengan efisiensi System One. Nikunj Handa menjelaskan bahwa timnya memilih mengoptimalkan Luna yang sudah terbukti andal ketimbang melatih model terpisah, sehingga performa reasoning dasarnya tetap terjaga dengan baik.

Perbedaan Decisions API dengan Model LLM Biasa

Banyak developer sempat bertanya-tanya, kenapa nggak pakai prompt biasa aja di model LLM standar lalu dipaksa keluar format JSON? Jawabannya ada di arsitektur eksekusi dan efisiensi.

Model bahasa konvensional dirancang buat bernalar panjang dan menghasilkan rangkaian kata demi kata. Sedangkan Decision model beroperasi kayak 'System One' dalam psikologi: mengenali pola dengan cepat, memilih rute yang pas, lalu langsung mengembalikan skor keyakinan tanpa perlu membuang resource buat menulis teks panjang bertele-tele.

Dengan membatasi ruang jawaban, OpenAI bisa mengoptimalkan jalur inferensi di data center mereka. Hasilnya, throughput jadi jauh lebih tinggi dan antrean pemrosesan di server berkurang drastis.

Langkah ini melengkapi ekosistem agen AI yang terus dibangun OpenAI, termasuk pengumuman Agents API sebelumnya untuk menangani tugas otonom yang lebih kompleks.

Dalam workflow agent yang rumit, Decisions API berfungsi layaknya sistem saraf refleks yang mengeksekusi routing percabangan sebelum tugas berat diserahkan ke agent utama.

Tiga Format Keputusan yang Didukung

Saat kamu menembak endpoint Decisions API, kamu cukup ngasih pertanyaan, opsi jawaban yang diperbolehkan, dan konteksnya. OpenAI Decisions API mendukung tiga tipe keluaran yang bisa kamu sesuaikan dengan kebutuhan kode kamu:

1. Predicate: Menghitung estimasi probabilitas dari angka 0 sampai 1 apakah sebuah kondisi bernilai benar (true). Contohnya: ngecek apakah produk dalam foto mengalami kerusakan fisik atau nggak.
2. Choice: Memilih satu opsi terbaik dari daftar pilihan yang kamu tentukan sendiri. API juga menyertakan probabilitas dan tingkat keyakinan (confidence) di balik pilihan tersebut. Contohnya: menentukan apakah agent harus lanjut kerja, mencoba ulang (retry), atau minta klarifikasi ke user.
3. Score: Memberi nilai pada input berdasarkan rubrik peringkat yang kamu susun. Hasilnya berupa angka rata-rata tertimbang probabilitas dari tiap tingkatan. Contohnya: menilai seberapa parah tingkat kerusakan barang (misal dari skala ringan ke parah).

Kemampuan menerima hingga 400 pertanyaan dalam satu request bikin kamu bisa melakukan klasifikasi massal sekaligus dalam satu kali panggilan jaringan.

Dukungan GPT-Live untuk Suara dan Avatar Real-Time

Salah satu pembaruan paling keren di versi ketersediaan umum (GA) ini adalah integrasi native dengan GPT-Live. Fitur ini memungkinkan aplikasi suara berinteraksi sangat mulus tanpa jeda canggung yang biasanya bikin obrolan AI terasa kaku.

Misalnya, agent customer service suara bisa memutuskan secara real-time apakah perlu memotong pembicaraan pelanggan, mengarahkan tiket ke agen manusia, atau memberikan jawaban klarifikasi. Contoh seru lainnya ada di bidang animasi avatar 3D: Decisions API bisa membaca transkrip obrolan per potongan kata (delta) lalu seketika memilih ekspresi wajah avatar yang pas—seperti tersenyum, mengedipkan mata, atau memasang muka kaget—saat lawan bicaranya sedang ngomong.

Dalam konfigurasi session.triggers di GPT-Live, kamu bisa memasang pertanyaan bertipe choice untuk membaca reaksi wajah. Ketika user bercerita hal sedih atau lucu, event keputusan langsung keluar dalam hitungan puluhan milidetik sehingga animasi karakter sinkron sempurna dengan emosi percakapan.

Prompt Caching Canggih dan Kapasitas Server Regional

Sejak masa uji coba publik, OpenAI menambahkan sederet fitur enterprise yang bikin implementasi di level produksi makin mantap. Sekarang kamu bisa mengirimkan input JSON secara native tanpa perlu repot parsing teks manual lagi. Selain itu, gambar juga bisa disematkan langsung ke dalam instruksi pertanyaan.

Efisiensi biaya ini makin nyata berkat dukungan sistem prompt caching mutakhir yang dioptimalkan untuk lini model GPT-6.

Buat urusan performa dan kepatuhan data, OpenAI menghadirkan beberapa hal penting:

• Prompt Caching: Menyimpan konteks yang sering dipakai berulang-ulang sehingga biayanya turun drastis ke angka super murah.
• Kapasitas Server Asia: OpenAI menambah kapasitas inferensi di beberapa wilayah Asia demi menekan latensi jaringan bagi pengguna di kawasan Asia Pasifik, termasuk Indonesia.
• Residensi Data US & EU: Opsi pemrosesan lokal untuk perusahaan yang terikat regulasi penyimpanan data ketat.
• Zero Data Retention: Opsi privasi data buat pelanggan yang memenuhi syarat lewat pengaturan Zero Data Retention agar input tidak disimpan di server OpenAI.

Perusahaan besar seperti Box, Datadog, Ramp, dan platform belajar bahasa Speak sudah memakai API ini di sistem mereka. CTO Speak, Andrew Hsu, menyebutkan kalau perusahaannya sukses memangkas jeda antar-aksi agent dari 1,4 detik jadi cuma 0,13 detik saja.

Biaya OpenAI Decisions API: Super Murah dan Bebas Biaya Output

Struktur harga OpenAI Decisions API tergolong sangat agresif kalau dibanding pemanggilan model frontier biasa, sebagaimana dijelaskan di panduan harga dan ketersediaan. Kamu cuma membayar biaya input token, tanpa ada tagihan buat output token sama sekali.

Berikut rincian tarif resminya:

• Input Token Standar: $0.10 per 1 juta token.
• Cached Input Token: $0.01 per 1 juta token (tersedia opsi cache write 30 menit dan 12 jam di panduan harga).
• Output Token: $0 (Gratis).

Skema ini bikin arsitektur multi-agent berskala besar jadi masuk akal secara finansial. Biasanya, agent yang sering looping atau bolak-balik ngecek status bakal menguras biaya token output. Dengan skema gratis token keluar dan caching super murah, tagihan bulanan cloud AI kamu bisa ditekan seminimal mungkin.

Peta Persaingan Model Keputusan: OpenAI vs Jev dan Liquid

Rilis ini menandai babak baru persaingan model keputusan cepat. Menurut laporan Tim Fernholz di TechCrunch, pasar ini awalnya dipelopori oleh startup TypeSafe lewat model Jev mereka, yang sukses melesatkan valuasi startup tersebut hingga $7,6 miliar.

Di berbagai indeks benchmark publik seperti AIM System One Index dan Artificial Analysis Decision Index, persaingan makin ramai. Model D1 Ultra besutan Liquid dan Elephant-1 milik Base Lab saat ini memimpin posisi teratas. Model Jev generasi terbaru berada di peringkat ketiga dan ketujuh, sementara model Decisions dari OpenAI berada di peringkat kedelapan dan keempat belas.

Model Jev bahkan unggul di benchmark JevMan, tes unik buatan Opper AI di mana model AI diuji bermain game legendaris Pac-Man dengan mengambil keputusan arah gerak tiap ratusan milidetik. Meski begitu, Nikunj Handa menegaskan keunggulan OpenAI terletak pada kemampuan multimodal visualnya. Untuk urusan klasifikasi gambar, kalibrasi GPT-6 Luna dinilai sangat kuat dan akurat.

Handa bahkan mematok target ambisius berikutnya: menekan latensi hingga 60 milidetik agar API ini bisa dipanggil untuk menganalisis setiap frame video secara langsung.

Langkah Praktis: Cara Menjalankan Keputusan Pertamamu

Kamu nggak butuh setup rumit buat mulai mengevaluasi endpoint ini di aplikasi kamu. Ikuti langkah sederhana berikut:

1. Tentukan satu keputusan berulang: Pilih satu titik percabangan di kodemu yang paling sering bikin lemot, misalnya routing tiket aduan atau validasi input user.
2. Definisikan opsi jawaban yang pasti: Tentukan apakah kamu butuh output berupa peluang (predicate), kategori (choice), atau nilai skor (score).
3. Uji coba di playground: Buka Decisions Playground untuk mengetes pertanyaanmu menggunakan sampel teks atau gambar riil sebelum ngoding.
4. Pasang via SDK: Gunakan referensi di developer guide untuk memanggil endpoint decisions dari backend kamu.

Berikut contoh struktur prompt atau instruksi yang bisa kamu gunakan untuk menentukan rute agent customer care:

Instruksi: Tentukan tindakan terbaik untuk menangani pesan pelanggan berikut.Konteks: Pelanggan menanyakan status pengiriman barang yang terlambat 3 hari.Pilihan opsi:- lacak_pesanan: Jika pelanggan meminta update lokasi paket.- sambung_manusia: Jika pelanggan marah atau meminta pengembalian dana.- tanya_resi: Jika pelanggan belum menyertakan nomor resi pengiriman.

Dampak Nyata Buat Developer dan Startup di Indonesia

Buat ekosistem teknologi di Indonesia, kehadiran Decisions API membawa dampak langsung di tiga area utama:

1. Efisiensi Aplikasi Layanan Pelanggan (Customer Support): Banyak startup lokal mengandalkan bot WhatsApp atau web chat. Dengan latensi di bawah 200 milidetik, bot bisa langsung mengarahkan pesan komplain ke departemen yang pas tanpa bikin user nunggu lama.
2. Verifikasi Dokumen dan Struk Cepat: Buat aplikasi fintech atau kasir digital, kemampuan memproses gambar lewat tipe data predicate atau score bikin validasi bukti transfer atau foto KTP jadi jauh lebih instan dan murah.
3. Penghematan Biaya Operasional: Model bisnis software lokal sering terkendala mahalnya tagihan API dolar. Tarif $0.10 per 1 juta token bikin eksperimen AI agent di workflow internal UMKM hingga enterprise jadi ramah kantong.

Buat kamu yang ingin bereksperimen dengan berbagai model pintar tanpa pusing integrasi API yang terpisah-pisah, kamu bisa memanfaatkan platform agregator praktis. Lewat Classai Router, kamu bisa mengakses model cerdas seperti gpt-6-luna seharga Rp1.695 per 1 juta token input dan Rp8.445 per 1 juta token output. Integrasinya gampang banget karena kompatibel penuh dengan SDK standar OpenAI tanpa perlu ubah basis kode aplikasi kamu.

Kalau kamu mau memperdalam cara merancang logika agent mandiri yang efisien dari nol, kamu juga bisa gabung di kelas AI untuk Developer. Di sana dibahas tuntas strategi membangun aplikasi berbasis AI yang siap tempur di industri nyata, lengkap dengan studi kasus arsitektur produksi modern seperti yang diulas pada artikel multi-agent AI produksi.

Langkah OpenAI meluncurkan Decisions API membuktikan bahwa masa depan AI bukan cuma adu pintar model raksasa, tapi juga adu gesit dan irit dalam mengambil keputusan taktis sehari-hari.