Konversi Sales Naik Pakai AI Bandit di Amazon SageMaker

Apa itu Contextual Bandit, dan Kenapa Beda dari A/B Testing?

Multi-armed bandit (MAB) itu metode reinforcement learning buat situasi di mana ada banyak pilihan konten tapi traffic-nya terbatas. Tiap variasi konten dianggap satu "arm", lalu sistem terus nguji arm mana yang paling bagus sambil tetap ngasih sebagian traffic ke arm lain buat eksplorasi.

Bedanya dari A/B testing klasik: bandit nggak pernah "selesai" nunggu hasil tes. Dia terus belajar dan geser porsi traffic ke konten yang menang, real-time. Nah, contextual bandit nambah satu layer lagi — keputusannya nggak cuma "konten mana yang paling bagus buat semua orang", tapi dikondisikan sama siapa yang lagi berkunjung, lewat feature vector alias representasi numerik dari perilaku pelanggan.

Di sistem Amazon, tiap pelanggan direpresentasikan sebagai vektor sinyal perilaku (kebiasaan transaksi, jenis pembayaran, dan semacamnya). ID pelanggan cuma dipakai buat nyambungin rekomendasi ke orang yang tepat, bukan jadi input model.

LinUCB: Cara Amazon Ngitung Konten Terbaik buat Tiap Pelanggan

Amazon milih algoritma Linear UCB (LinUCB), metode yang diperkenalkan Li dkk. (2010). Tiap arm nyimpen dua "buku catatan": satu nyatat sinyal pelanggan yang bikin konversi, satu nyatat pelanggan mana aja yang udah dilihat arm itu. Dari dua catatan ini, sistem ngitung skor tiap arm: estimasi reward ditambah bonus ketidakpastian.

Bonus ini yang bikin bandit makin pintar — makin jarang arm ketemu tipe pelanggan tertentu, makin besar bonus eksplorasinya buat pelanggan itu. Ada parameter alpha yang ngatur seberapa agresif eksplorasi dilakukan, dengan rentang umum 0,1 sampai 2,0. Makin besar arm pool dan makin minim data historis, alpha biasanya disetel lebih tinggi dulu.

Masalah Seesaw: Optimasi Satu Tahap Funnel Bisa Ngerusak Tahap Lain

Funnel di kasus ini punya tiga tahap: mulai aplikasi, submit aplikasi, dan approval. Konten yang bagus buat narik orang mulai aplikasi belum tentu bagus buat approval, karena approval tergantung apakah penawarannya emang cocok buat si pelanggan. Amazon nyebut ini "seesaw problem" — optimasi satu tahap doang bisa bikin tahap lain anjlok.

Solusinya, mereka jalanin satu model LinUCB per tahap funnel (start, submit, approve), lalu gabungin skor ketiganya pakai kombinasi berbobot. Bobot tiap tahap bisa diatur sesuai prioritas bisnis — Amazon sendiri pakai bobot yang kurang lebih sama buat ketiganya.

Karena approval butuh waktu berhari-hari buat diketahui hasilnya, mereka pakai attribution window: data start dan submit langsung update model, sementara data approval ditahan sampai siklus batch berikutnya biar nggak bias.

Hasil Uji Coba 7 Minggu: Konversi Naik, Masalahnya Ternyata di Konten

Ini bagian paling menarik. Dalam uji coba A/B online 7 minggu, satu populasi pelanggan ngalamin lonjakan konversi final-funnel single-digit tinggi secara relatif. Tapi populasi pelanggan lain sama sekali nggak ngalamin perbaikan dibanding pengalaman yang udah ada.

Kesimpulan Amazon: "The problem turned out to be the content, not the model" — masalahnya ada di konten, bukan di modelnya. Pelajaran ini penting buat siapa pun yang mau nyobain personalisasi: algoritma sepintar apa pun cuma bisa milih dari pilihan konten yang ada. Kalau pilihan kontennya nggak relevan buat satu segmen, ya hasilnya tetap mandek.

Salah satu lesson learned mereka: kalau populasi pelanggan beda jauh karakteristiknya, lebih baik latih model terpisah per kelompok, biar sinyal dari kelompok kecil nggak ketimpa sama kelompok besar.

Gimana Arsitekturnya di AWS?

Sistemnya jalan secara batch, bukan real-time. Tiap minggu, ada SageMaker AI Processing job yang baca data outcome pelanggan dari Amazon S3, update model bandit, lalu nulis rekomendasi baru ke key-value store berlatensi rendah kayak Amazon DynamoDB.

Beberapa detail teknis yang bikin sistem ini jalan rapi:

• Model di-warm-start dari periode penayangan konten acak, jadi nggak ada bias seleksi dari awal.
• Setiap update model disimpan di path S3 baru dengan tanggal, jadi otomatis punya riwayat versi dan bisa rollback kapan aja.
• Kalau nggak ada rekomendasi buat pengunjung tertentu, halaman fallback ke pengalaman default statis — jadi nggak ada pelanggan yang dirugikan dibanding baseline.
• Buat nge-scoring populasi besar, mereka precompute inversi matriks arm sekali per batch dan pecah pengunjung jadi beberapa chunk yang diproses paralel.

Cara Mulai Eksperimen Personalisasi Funnel Sendiri

Kalau kamu developer atau tim data di perusahaan yang pengin nyobain pendekatan serupa, ini langkah yang bisa diikuti berdasarkan arsitektur Amazon di atas:

1. Mulai dengan data outcome funnel yang jelas tiap tahapnya (misal: klik, isi form, closing).
2. Bangun arm pool dari kombinasi building block yang udah di-vetting — bukan review tiap kombinasi satu-satu, tapi review komponen dasarnya (gambar, tagline, copy) biar skalanya tetap terkontrol.
3. Warm-start model dengan periode random assignment dulu sebelum masuk mode bandit penuh.
4. Mulai dari cadence batch mingguan sebelum naik ke real-time, biar risikonya lebih terkontrol.
5. Pakai delayed feedback window kalau hasil akhir (approval, closing deal) butuh waktu berhari-hari buat diketahui.

Dampak Buat Bisnis dan Developer di Indonesia

Buat tim sales B2B atau e-commerce di Indonesia yang masih andalin A/B testing manual, pendekatan bandit ini bisa jadi arah baru buat optimasi funnel b2b — apalagi kalau variasi kontennya makin banyak gara-gara generative AI. Satu hal yang perlu diwaspadai: kayak yang dibuktikan Amazon, model secanggih apa pun nggak nolong kalau konten yang disajikan nggak relevan buat segmen tertentu.

Soal data, arsitektur ini juga lumayan rapi dari sisi privasi: entity ID cuma dipakai buat routing, nggak pernah jadi input model. Pola ini sejalan sama prinsip minimalisasi data yang relevan buat UU PDP, meski tetap perlu dicek lagi sesuai konteks bisnis masing-masing.

Kalau kamu baru mau mulai bangun sistem AI di tim kecil, ada panduan 30 hari buat UMKM di artikel ini. Buat yang mau paham dulu konsep API AI dari dasar sebelum nyentuh arsitektur kayak Processing job SageMaker, bisa cek panduan API AI untuk pemula.

Buat bikin variasi tagline atau copy yang jadi "arm" di bandit pool, kamu nggak perlu infrastruktur AWS. Lewat Classai Router, kamu bisa pakai model seperti GPT-4o (Rp500 / Rp2.500 per 1 juta token) atau Claude Sonnet 4.5 (Rp160 / Rp800 per 1 juta token) buat generate puluhan varian tagline dalam sekali jalan, tinggal ganti satu string model.

Buat tim sales dan marketing yang mau belajar lebih jauh soal personalisasi funnel dan copywriting berbasis data, kelas AI untuk Sales & Business Development dan AI untuk Pemilik Bisnis & UMKM di Classai bisa jadi titik awal yang pas.

Contoh prompt buat bikin variasi tagline yang bisa langsung dites sebagai "arm" baru:

Bikin 10 tagline pendek (maksimal 8 kata) buat halaman landing produk pinjaman online, fokus ke benefit "cepat disetujui". Gaya bahasa santai, cocok buat pelanggan usia 25-35 tahun di Indonesia. Jangan pakai klaim yang berlebihan.