Fine Tuning Search Agent di SageMaker: Gimana Caranya?

Kenapa Search Agent Susah Dilatih?

Search agent itu beda dari chatbot biasa. Dia harus mutusin sendiri mau cari apa, pakai tool apa, dan kapan berhenti nyari — semua itu dilakukan lewat beberapa ronde interaksi yang saling berkaitan.

Masalahnya, model kecil biasanya nggak bisa diandalkan buat perilaku multi-turn kayak gini kalau cuma dikasih prompt. Model gede (frontier model) sih bisa, tapi kamu bayar mahal dari sisi latensi dan biaya. Supervised fine-tuning (SFT) juga ribet karena butuh contoh trajectory ideal yang mahal dikumpulin dan jarang ada buat kebutuhan spesifik kamu.

RL satu langkah (single-turn RL atau RLVR) juga kurang pas, karena search agent bikin keputusan yang saling nyambung antar ronde. Kalau cuma dioptimasi per langkah, hubungan antar keputusan itu malah kelewat.

Apa itu Multi-Turn RL di Amazon SageMaker AI?

Di sinilah multi-turn RL (MTRL) masuk. Teknik ini ngoptimasi agent lewat seluruh rangkaian langkah sekaligus, dan reward-nya cuma perlu lihat apakah hasil akhirnya bagus atau nggak — nggak perlu rewarding tiap langkah kecil satu-satu.

Amazon SageMaker AI nyediain MTRL sebagai layanan dengan beberapa fitur:

• Interface agent-environment modular — kamu bisa definisiin reward custom dan bentuk percakapan multi-turn sendiri, low-code.
• Eksekusi serverless — RL agentic skala produksi dengan harga per-token, tanpa perlu kelola cluster GPU.
• Rollout asinkron — proses generasi data training dan update gradient jalan paralel.
• Library algoritma native — ada PPO, CISPO, dan IS losses, dipasangkan dengan estimator advantage seperti GRPO, GRPO pass@k, RLOO.
• Training resumable — training panjang bisa dipecah jadi beberapa job biar nggak kena limit waktu.
• Observability lewat MLflow — kamu bisa lihat apa yang dilakukan agent turn demi turn.

MTRL cocok banget buat search agent karena ada reward signal yang jelas (kualitas retrieval), loop interaksi multi-turn (agent nanya dan dapet hasil), dan environment yang well-defined (tool pencarian).

Gimana Cara Kerja Eksperimennya?

Tim AWS pakai model Qwen3.6-27B di region US West (Oregon), dikasih dua tool: lexical search (BM25) buat query dengan kata kunci spesifik, dan vector search buat query yang lebih konseptual. Jumlah turn juga dibatasi biar agent nggak ngelantur kelamaan nyari.

Buat data training dan testing, mereka pakai gabungan dataset publik kayak FRAMES, BRIGHT, Enterprise RAG, ESCI, Musique, dan MLQA buat training, sementara FreshStack, WixQA, BrowseComp-Plus, dan Wands dipakai buat evaluasi.

Reward function-nya pakai nDCG@10 — metrik standar information retrieval yang ngukur seberapa bagus 10 dokumen teratas yang diretrieve dibanding urutan ideal. Kalau agent kena limit turn atau token tanpa selesai, dia dikasih reward -1 biar belajar menghindari kegagalan itu.

Cara Setup Fine Tuning Search Agent di SageMaker

Yang bikin menarik, setup-nya nggak ribet. Tim AWS cuma ubah tiga hyperparameter dan sisanya pakai default:

1. Siapin dataset training dan validasi, upload ke Amazon S3 dalam format yang dikenal MTRL.
2. Deploy agent endpoint yang expose tool BM25 dan vector search buat dipanggil saat rollout.
3. Konfigurasi job training pakai SDK MultiTurnRLTrainer, set max_epochs: 1, global_batch_size: 128, dan rollout_max_concurrency: 32.
4. Jalankan trainer.train() dan monitor reward lewat MLflow sampai kurva plateau.
5. Evaluasi hasil pakai evaluation job sebelum deploy ke endpoint SageMaker AI atau Amazon Bedrock.

from sagemaker.modules.train import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
 model_id="qwen3.6-27b",
 agent_endpoint="<your-agent-endpoint>",
 training_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/train/",
 validation_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/validation/",
 hyperparameters={
 "max_epochs": 1,
 "global_batch_size": 128,
 "rollout_max_concurrency": 32,
 },
 output_s3_uri="s3://amzn-s3-demo-bucket/output/",
)

trainer.train()

Hasilnya Gimana? Search Agent Jadi Makin Jago

Setelah fine-tuning, model Qwen3.6-27B yang udah dilatih (finetune) dibandingkan dengan versi aslinya di empat benchmark yang beda. Hasilnya naik di tiga dari empat benchmark, dan tingkat kegagalannya turun drastis di semua benchmark.

Kenaikan paling gede ada di BrowseComp-Plus (+23,7% nDCG@10) dan WixQA (+18,4%). Yang paling bikin kagum sih bukan cuma soal kualitas pencarian, tapi reliability-nya: di BrowseComp-Plus, dari 22,89% gagal jadi cuma 0,68% doang. Artinya agent belajar nyelesain tugas dalam batas turn dan token yang dikasih, bukan cuma mikir lebih pintar.

Dampaknya Buat Developer di Indonesia

Buat tim developer atau startup di Indonesia yang lagi bangun fitur search internal — misalnya buat knowledge base customer service, katalog produk, atau dokumentasi teknis — pendekatan ini kasih opsi menarik. Kamu nggak harus pakai model frontier yang mahal buat dapet search agent yang reliable, tapi juga nggak harus bikin dataset demonstrasi yang mahal kayak SFT.

Yang perlu diingat, MTRL di SageMaker ini butuh setup environment dan agent endpoint sendiri, jadi cocoknya buat tim yang udah punya infrastruktur AWS dan paham dasar machine learning. Kalau kamu masih di tahap eksplorasi, bisa belajar dulu soal agent dan API lewat kelas AI untuk Developer biar paham fondasinya sebelum masuk ke level fine-tuning RL kayak gini.

Artikel AWS lain yang nyambung soal SageMaker di konteks bisnis juga bisa dicek di Konversi Sales Naik Pakai AI Bandit di Amazon SageMaker, atau soal cara latih AI agent perusahaan di AutoSynthData Rilis: Cara Baru Latih AI Agent Perusahaan.

Contoh prompt buat eksperimen desain reward function sebelum masuk ke SageMaker:

Saya mau bikin search agent yang milih antara lexical search (BM25) dan vector search tergantung tipe query. Tolong bantu saya rancang reward function sederhana berbasis nDCG@10 buat 10 contoh query produk e-commerce, lengkap dengan kriteria kapan harus kasih penalti.