AutoSynthData Rilis: Cara Baru Latih AI Agent Perusahaan

Apa itu AutoSynthData buat Enterprise Agents?

AutoSynthData itu pipeline otomatis bikinan tim ServiceNow CoreAI buat ngubah "kelemahan" model AI jadi data latihan baru. Caranya: ngetes model target di lingkungan kerja asli, lihat di mana dia gagal, lalu pakai model teacher yang lebih kuat buat nunjukin gimana cara nyelesain task itu dengan bener.

Tim ServiceNow CoreAI nulis gini soal kenapa ini penting: "Perusahaan butuh agen AI yang bener-bener jalan di lingkungan kerja mereka sendiri, sesuai sistem dan aturan yang mereka punya." Intinya, satu task cuma terdiri dari tiga bagian: system specification (aturan dan batasan lingkungan kerja), user prompt (permintaan yang masuk akal buat diminta user), dan verifier (penentu apakah agen berhasil atau gagal).

Supaya task-nya kepake buat training, tiga hal ini harus kepenuhin: feasible (emang bisa diselesain di lingkungan itu), realistis (mirip permintaan asli dari user), dan cukup susah (nunjukin kelemahan model yang sekarang, bukan task yang udah dikuasai).

Gimana AutoSynthData Bikin Task Baru dari Kegagalan Model?

Prosesnya dimulai dari evaluasi. Model target dan model teacher sama-sama dijalanin di task diagnostik di lingkungan kerja yang sama. Dari situ tim nganalisis kemampuan apa yang diuji, di mana model target gagal, dan gimana teacher berhasil nyelesain.

Temuan itu diringkas jadi "capability specification card" yang udah disaring — generator task sama sekali nggak dikasih prompt asli, entitas, atau detail verifier dari task evaluasi. Dia cuma dapat kartu ringkasan, lalu bikin task baru dengan entitas, kondisi awal, kombinasi tools, dan tingkat kesulitan yang beda-beda. Teacher kemudian ngasih contoh cara nyelesainnya, dan itu yang dipakai buat supervised fine-tuning (SFT) model target.

Dua Fase Bikin Data: Target dan Multiply

AutoSynthData ngerjain dataset-nya dalam dua tahap:

1. Target — bikin kumpulan sampel inti langsung dari capability specification card. Tiap kandidat task diproses paralel, lalu lewat validasi, eksekusi, evaluasi solver, dan repair sebelum diterima.
2. Multiply — ngembangin sampel yang udah diterima jadi varian baru, masing-masing dengan permintaan, kondisi lingkungan, dan verifier sendiri. Satu sampel hasil multiply nggak boleh dipakai buat bikin sampel multiply lagi, jadi penyebarannya tetap terjaga nggak melenceng jauh dari task inti.

Cara AutoSynthData Mastiin Data Latihannya Nggak Ngasal

Bikin task yang kedengaran masuk akal itu gampang, tapi belum tentu kepake buat training. Makanya tiap kandidat task harus lolos beberapa gerbang kualitas:

• Solver evaluation — ngukur tingkat kesulitan. Task yang dipakai idealnya cuma berhasil diselesaikan model target maksimal 1 dari 3 percobaan, tapi teacher berhasil minimal 2 dari 3 percobaan.
• Positive verification — ngecek apakah solusi yang dimaksud emang bener-bener nyelesain task itu.
• Negative verification — ngecek apakah hasil yang salah emang gagal lolos verifikasi, buat nangkep verifier yang terlalu lemah.
• Critique & repair — task yang gagal dikasih ke "kritikus" buat didiagnosis dan diperbaiki, dengan batas percobaan ulang.

Selain level sampel, ada juga review di level batch buat ngecek apakah ada jenis task yang kebanyakan muncul, kemampuan yang kelewat, atau pola kegagalan yang berulang. Dari situ, arah generate task buat batch berikutnya ikut disesuaikan.

Hasil Eksperimen di EnterpriseOps Gym: Hybrid vs ITSM

Tim ServiceNow nguji AutoSynthData di dua domain EnterpriseOps Gym, lingkungan simulasi kerja enterprise yang stateful.

Menarik nih, di eksperimen ITSM, teacher yang dipakai adalah DeepSeek V4.1 Flash — model yang belakangan lagi rame dibahas juga di Indonesia. Waktu generate-nya lebih lama (66 jam) dibanding Hybrid, tapi ServiceNow bilang ini lebih karena teacher-nya lebih gede dan belum ada optimasi pipeline, bukan soal kualitas model.

Dampak buat Developer dan Bisnis AI di Indonesia

Buat tim developer Indonesia yang lagi bangun AI agent buat internal perusahaan — misalnya bot yang terintegrasi ke sistem ERP, helpdesk IT, atau workflow approval — masalah yang diselesain AutoSynthData ini kerasa banget. Model yang jago di benchmark umum sering kebingungan pas ketemu sistem dan aturan bisnis yang khas.

Konsep intinya bisa diadaptasi tanpa harus sekompleks pipeline ServiceNow: pakai model yang kuat buat jadi "teacher" yang ngasih contoh solusi, lalu dipakai buat ngajarin model yang lebih kecil atau buat bikin dataset evaluasi internal. Yang penting, tetep ada proses verifikasi biar data latihannya nggak ngasal.

Cara nyobain konsep serupa buat developer

1. Tentuin satu workflow spesifik yang sering gagal dikerjain agen AI kamu.
2. Pakai model yang lebih kuat buat jadi teacher — generate contoh solusi yang bener buat workflow itu.
3. Verifikasi manual atau otomatis dulu sebelum dipakai buat fine-tune atau few-shot prompting model yang lebih kecil/murah.
4. Ulangi proses ini secara berkala sambil ngecek kemampuan model yang masih lemah.

Kalau mau nyobain model teacher kayak DeepSeek V4.1 Flash buat eksperimen semacam ini, kamu bisa akses lewat Classai Router. Harga model deepseek-v4.1-flash di sana Rp160 per 1 juta token input dan Rp800 per 1 juta token output, kompatibel langsung sama SDK OpenAI maupun Anthropic — tinggal arahin base URL, kode lain nggak perlu diubah.

Saya punya agen AI yang sering gagal di task berikut: [jelasin workflow dan contoh kegagalannya].Tolong analisis pola kegagalannya, lalu bikin "capability specification card" yang berisi:- kemampuan yang sedang diuji- tools/workflow yang terlibat- kondisi akhir yang harus benar biar dianggap sukses- dimensi yang bisa divariasikan tanpa mengubah kemampuan intinya

Kalau kamu lagi ngulik soal integrasi API dan AI agent dari dasar, bisa cek dulu apa itu API AI atau belajar dari kasus Holo4 yang bisa gerakin cursor sendiri buat gambaran gimana agen AI makin diandalkan buat tugas yang butuh banyak langkah.

Masih Riset, Tapi Arahnya Jelas

Tim ServiceNow sendiri bilang eksperimen mereka masih fokus di supervised fine-tuning. Mereka nyebut mekanisme yang sama kemungkinan bisa dipakai buat reinforcement learning, tapi itu masih rencana ke depan, belum hasil yang udah diuji.