Distilasi Agen SageMaker AI: Pangkas Biaya Agen AI Skala Besar

Kenapa Biaya Produksi Agen AI Sering Bikin Boncos?

Banyak developer pemula kaget pas melihat tagihan API saat agen AI mereka masuk tahap uji coba pengguna massal. Masalahnya ada pada sifat dasar agen itu sendiri. Kalau chatbot biasa cuma butuh satu kali request-response, agen AI butuh berulang kali bolak-balik mikir dan memanggil tool eksternal sebelum ngasih jawaban akhir ke pengguna.

Bayangkan kalau satu permintaan belanja butuh 5 sampai 8 langkah penalaran. Berarti ada 8 panggilan token input dan output ke model frontier cuma buat melayani satu orang pembeli. Di level produksi, biaya per tugas ini menumpuk cepat banget dan langsung menggerus margin bisnis kamu. Solusi memakai model kecil yang murah sering kali gagal karena model mungil biasanya gampang bingung pas disuruh memanggil tool berurutan.

Di sinilah teknik distilasi agen SageMaker AI hadir buat menjembatani jurang antara kualitas model raksasa dan efisiensi model kecil. Lewat distilasi, kepintaran model guru (teacher) dipindahkan ke model murid (student) yang jauh lebih ramping.

Apa Itu Sequence-Level Knowledge Distillation (SeqKD)?

Distilasi model biasanya butuh akses ke struktur jeroan model seperti bobot (weights), distribusi probabilitas token (logits), atau gradien. Masalahnya, model-model frontier terbaik saat ini kebanyakan berstatus tertutup dan cuma bisa diakses lewat antarmuka API. Di kondisi kayak gini, teknik Sequence-level Knowledge Distillation (SeqKD) adalah pilihan paling pas.

SeqKD bekerja murni menggunakan output teks yang dihasilkan oleh model guru. Guru diminta menyelesaikan serangkaian tugas, mencatat seluruh jalannya proses (trajektori), lalu hasil catatan tadi dijadikan data latihan buat model murid lewat Supervised Fine-Tuning (SFT) biasa. Karena cuma butuh teks hasil akhir, kamu bisa pakai model API apa pun sebagai guru tanpa pusing mikirin infrastruktur reinforcement learning yang ribet.

Pada sistem agen, trajektori yang ditiru bukan cuma paragraf jawaban akhir. Trajektori agen adalah urutan lengkap berisi alasan berpikir (reasoning), pemanggilan fungsi (tool calls), dan observasi balik dari sistem. Melatih model murid dengan seluruh trajektori ini bakal mengajarkan si murid cara berpikir runtut sebelum memutuskan tindakan berikutnya.

Kapan Kamu Perlu Pakai SeqKD Buat Agen AI?

Nggak semua masalah harus diselesaikan dengan distilasi rumit. Teknik SeqKD di Amazon SageMaker AI ini sangat tepat dipakai pas kamu menghadapi skenario berikut:

1. Punya input tugas tapi nggak punya contoh jawaban ideal: Mengumpulkan ribuan contoh langkah agen secara manual itu mahal banget. Lewat SeqKD, model frontier yang bertindak sebagai pembuat target data sintetis.
2. Model guru cuma bisa diakses via API: Kalau kamu pakai model seperti GLM-5.3 di Amazon Bedrock, kamu nggak bisa ngutak-ngatik arsitektur aslinya. SeqKD jadi satu-satunya cara distilasi yang bisa jalan.
3. Butuh pijakan awal yang kokoh dan hemat: Banyak model penalaran mini yang populer belakangan ini dibangun lewat SeqKD. Contohnya model turunan DeepSeek-R1 distilled models yang menyalin jejak berpikir model besar ke arsitektur Qwen dan Llama.

Kalau kamu lagi merancang arsitektur data buat kebutuhan agen semacam ini, pastikan juga membaca panduan kami tentang /developer/kelola-biaya-amazon-bedrock biar pengelolaan kuota pengujian data sintetis kamu tetap terkontrol rapi.

Pipeline Distilasi Agen di Amazon SageMaker AI

Eksperimen yang dipaparkan AWS menggunakan studi kasus agen belanja e-commerce dengan benchmark ShoppingBench. Pipeline kerjanya dirancang otomatis mulai dari pembuatan data sampai deployment model murid.

Dalam eksperimen ini, model frontier GLM-5.3 di Amazon Bedrock bertindak sebagai guru, sedangkan Qwen3.5-4B dipilih sebagai model murid yang bakal dilatih di SageMaker AI.

1. Menyiapkan Dataset dengan Rejection Sampling

ShoppingBench menyediakan 750 skenario belanja sintetis (produk, toko, dan voucher). Data ini dibagi menjadi 426 problem untuk latihan dan 324 problem untuk evaluasi akhir. Model guru GLM-5.3 dijalankan dengan reasoning aktif dan temperatur 1.0 untuk menyelesaikan tiap masalah belanja di katalog berisi 2,7 juta produk.

Setiap problem dicoba dua kali oleh model guru, menghasilkan 850 trajektori. Suhu 1.0 sengaja dipakai supaya eksplorasi kueri pencarian bervariasi. Dari kumpulan trajektori ini, dilakukan teknik rejection sampling: hanya trajektori yang lolos uji penilaian ShoppingBench (berhasil memenuhi semua batasan harga dan rating) yang disimpan sebagai data training. Langkah ini menyaring kesalahan guru sehingga murid cuma meniru langkah yang benar-benar sukses.

2. Format Data Per-Langkah (Per-Step Encoding)

Dataset yang sudah disaring diubah ke format percakapan chat. Tiap langkah tindakan agen dipecah jadi satu baris JSONL mandiri. Bagian user berisi riwayat percakapan dan instruksi sistem, sedangkan target assistant berisi blok pemikiran dan pemanggilan tool.

Berikut format baris data yang dipakai untuk melatih model murid:

{  "messages": [    {      "role": "user",      "content": "You are a shopping assistant...\n# Task\nFind a black waist bag under $20 from a shop rated 4.5 or higher.\n# Observations so far\n(none yet)"    },    {      "role": "assistant",      "content": "<think>Start with a broad search and let the price filter work before I narrow by shop rating.</think>\n<tool_call>[{\"name\": \"find_product\", \"parameters\": {\"q\": \"black waist bag\", \"price\": \"0-20\"}}]</tool_call>"    }  ]}

Data hasil filter ini menghasilkan sekitar 2.600 baris training dan 130 baris validasi. Pembagian validasi wajib dilakukan per problem belanja utuh (bukan acak per baris), biar konteks masalah nggak bocor antara data latih dan data uji.

Langkah Fine-Tuning Serverless dan Evaluasi Model Student

Setelah dataset JSONL diunggah ke Amazon S3, proses pelatihan dijalankan lewat fitur SageMaker AI model customization menggunakan SFT Trainer serverless. Kamu nggak perlu pusing mengelola cluster GPU mentah atau menulis script training dari nol.

Pelatihan dikonfigurasi menggunakan teknik Low-Rank Adaptation (LoRA) dengan rank 64 dan alpha 256 pada model dasar Qwen3.5-4B. Panjang urutan (dataset_max_len) disetel ke 16.384 token dan dilatih selama 3 epoch. Metrik pelatihan dipantau secara real-time via integrasi SageMaker dengan MLflow.

Sebelum menjalankan pengujian penuh yang butuh server katalog besar, AWS menyarankan evaluasi dua tahap:

1. Pre-check Custom Scorer: Uji cepat dan murah di SageMaker AI model evaluation. Fungsi evaluasi mengecek apakah model murid memanggil nama tool yang sama persis dengan yang dipanggil guru pada tiap langkah.
2. End-to-End Evaluation: Kalau skor pre-check terbukti mengungguli model dasar, baru deploy model ke endpoint real-time untuk menjalankan loop agen belanja utuh.

Model murid disajikan sebagai adapter LoRA di atas base model menggunakan container Deep Java Library Large Model Inference (DJL LMI) dengan engine vLLM. Skema ini menghemat memori GPU secara drastis karena base model dan adapter bisa berbagi kapasitas dalam satu instance tipe ml.g5.2xlarge atau ml.g6.2xlarge.

Kalau kamu mengelola banyak eksperimen pelatihan GPU bersama tim developer lainnya di AWS, cek juga trik alokasi resource di ulasan kami tentang /developer/aws-batch-quota-sagemaker-training-gpu.

Hasil Benchmark: Model 4B Sukses Saingi Model Frontier

Pengujian dilakukan pada 324 problem evaluasi ShoppingBench yang belum pernah dilihat model selama training. Metrik yang diukur adalah Absolute Success Rate (ASR), yaitu persentase masalah belanja yang diselesaikan dengan rekomendasi produk yang benar-benar valid.

Berikut rangkuman angka performa yang dicatatkan dari pengujian ini:

Hasil di atas membuktikan bahwa model mungil 4B yang sudah didistilasi berhasil mendongkrak ASR sebesar 24 poin dari versi standarnya (dari 0,297 jadi 0,541). Nilai ini bahkan sukses menandingi model frontier kelas menengah (0,546) dan model guru GLM-5.3 versi greedy (0,540).

Alasan Penalaran (Reasoning) Jadi Kunci Utama

Eksperimen AWS juga menguji apa yang terjadi kalau jejak pemikiran guru dibuang dan murid cuma dilatih meniru perintah tool call-nya saja.

Saat teks reasoning dihilangkan dari data latihan, skor rata-rata ASR murid langsung anjlok dari 0,541 ke 0,415. Ini membuktikan bahwa blok penalaran bukan sekadar basa-basi teks, melainkan bagian inti dari perilaku cerdas yang memandu agen mengambil langkah yang tepat.

Pengaruh Terhadap Kemampuan Umum (IFEval)

Fine-tuning untuk tugas spesifik biasanya punya efek samping menurunkan kepintaran umum model. Tim AWS mengujinya menggunakan tolok ukur kepatuhan instruksi IFEval.

Skor prompt-strict model murid turun dari 0,819 ke 0,741, sementara instruction-strict turun dari 0,872 ke 0,813. Penurunan sekitar 6 sampai 8 poin ini dinilai sebagai kompromi yang sangat wajar buat model yang dispesialisasi menangani workflow spesifik.

Batasan SeqKD dan Kapan Waspada Capacity Wall

Meski SeqKD kelihatan sangat menjanjikan buat memangkas pengeluaran operasional agen, ada beberapa batasan penting yang wajib kamu pahami sebelum menerapkannya di aplikasi komersial.

Gejala capacity wall gampang dikenali: teks pemikiran model murid makin panjang dan rapi, tapi akurasi tugasnya jalan di tempat. Kalau tanda ini muncul di proyek kamu, solusinya cuma dua: naikkan ukuran parameter model murid atau sederhanakan ruang lingkup tugas agenmu.

Selain itu, metode SeqKD berbasis SFT punya keterbatasan pas menghadapi error berantai di tengah loop interaksi. Model murid belum diajarkan cara memulihkan diri kalau di langkah awal dia salah memanggil tool. Untuk mengatasi error berantai ini, teknik lanjutan seperti on-policy reinforcement learning biasanya dibutuhkan sebagai tahap penyempurnaan setelah SeqKD selesai.

Dampak Nyata Buat Developer dan Startup di Indonesia

Bagi software engineer, tech lead, maupun founder startup di Indonesia yang lagi membangun produk AI mandiri, pendekatan distilasi agen SageMaker AI ini membawa perubahan besar dari sisi manajemen biaya.

1. Ubah Biaya Variabel Jadi Biaya Tetap: Memakai API frontier bikin kamu waswas tiap kali trafik pengguna melonjak karena tagihan dihitung per token. Lewat model 4B hasil distilasi yang di-host di instance GPU mandiri, biaya operasional server kamu jadi tetap dan mudah diprediksi.
2. Kepatuhan Data Lokal: Dengan melatih dan menjalankan model open-weight sendiri di infrastruktur cloud privat, kamu punya kendali penuh atas data transaksi pengguna, sejalan dengan prinsip perlindungan privasi UU PDP di Indonesia.
3. Latensi Respons Lebih Cepat: Model dengan 4 miliar parameter punya ukuran memori yang jauh lebih enteng, menghasilkan latensi antar-langkah tool yang jauh lebih gesit dibanding menunggu respons model raksasa dari server luar negeri.

Buat tahap awal saat kamu butuh menguji model guru frontier seperti GLM 5.3 sebelum menyiapkan data latih, kamu nggak perlu ribet daftar akun dan langganan kartu kredit luar negeri. Kamu bisa memanfaatkan Classai Router yang menyediakan akses API model GLM 5.3 seharga Rp1.875 per 1 juta token input dan Rp9.120 per 1 juta token output. Cukup gunakan satu API key yang kompatibel dengan format SDK OpenAI, lalu isi saldo instan pakai QRIS atau transfer bank lokal.