Prompt Caching Amazon Bedrock: Trik Hemat Biaya Agen AI sampai 64%

Kenapa AI Agent Sering Terjebak Siklus "Groundhog Day"?

Biar paham kenapa biaya agen AI gampang membengkak, kita perlu membedah isi paket data yang dikirim aplikasi ke LLM (Large Language Model) pada putaran pertama:

1. Daftar Tool: Definisi setiap fungsi yang bisa dipanggil agen. Bagian ini biasanya statis dan cuma berubah kalau kamu merilis versi baru aplikasi.
2. Instruksi (System Prompt): Aturan main, kepribadian agen, batasan keamanan, dan contoh kasus yang disiapkan developer.
3. History Percakapan: Rekaman semua interaksi yang sudah terjadi dalam sesi berjalan, mulai dari perintah awal user, riwayat pemanggilan tool oleh model, sampai hasil data yang dikembalikan.
4. Turn Baru: Hasil eksekusi fungsi terbaru atau pesan lanjutan dari pengguna.

Tanpa mekanisme penyimpanan sementara, setiap giliran (turn) bakal mengirim ulang tumpukan teks yang makin lama makin panjang. Di giliran kelima atau keenam, 80 persen token yang kamu bayar sebenarnya cuma pengulangan dari instruksi yang nggak pernah berubah sama sekali.

Cara Kerja Prompt Caching di Bawah Kap Mesin

Saat LLM menerima prompt, langkah komputasi pertama yang dijalankan bernama tahap prefill. Pada fase ini, model memproses setiap input token dan membangun vektor key dan value (vektor KV). Vektor inilah yang membentuk memori kerja model sebelum menghasilkan token jawaban pertama.

Mekanisme prompt caching bertugas menyimpan status vektor KV tersebut. Status ini mencakup sistem prompt, skema tool, dan riwayat yang sudah dibaca. Ketika ada request baru yang diawali susunan token yang persis sama, layanan Bedrock langsung memuat memori yang sudah tersimpan alih-alih menghitung ulang dari nol. Model cuma perlu memproses teks baru yang berada di ujung prompt.

Prompt caching bekerja dengan syarat teks yang kamu kirim harus identik per karakternya. Format JSON, urutan spasi, dan penataan skema fungsi nggak boleh berubah sedikit pun. Kalau ada data dinamis seperti jam sistem atau ID transaksi acak di awal instruksi, cache langsung gagal dimanfaatkan (cache miss).

Memilih Jalur: Implicit vs Explicit Prompt Caching

Di Amazon Bedrock untuk model OpenAI (seperti GPT-6 Astra, GPT-6.1 Sol, dan GPT-5.6 Luna), ada dua cara kerja cache yang bisa kamu pakai:

• Explicit Caching: Kamu menentukan batas simpan secara manual menggunakan parameter prompt_cache_breakpoint. Metode ini cocok banget buat mengunci bagian statis seperti daftar fungsi dan instruksi developer agar bisa dipakai ulang lintas sesi percakapan.
• Implicit Caching: Bedrock secara otomatis memilih titik potong terbaik seiring bertambahnya percakapan. Cocok buat menangani riwayat obrolan yang terus memanjang dalam satu sesi.

Kamu bisa menggabungkan keduanya sekaligus. Pasang penanda eksplisit di akhir instruksi dasar, lalu biarkan mode implisit mengelola percakapan yang terus bertambah.

Berikut contoh konfigurasi awal menggunakan Python SDK:

KEY = "support-agent:v7:gpt-6-astra"
INSTRUCTIONS = "Kebijakan operasional support dan contoh penanganan..."

# Simpan bagian statis secara eksplisit
resp = client.responses.create(
    model="us.openai.gpt-6-astra",
    store=False,
    include=["reasoning.encrypted_content"],
    prompt_cache_key=KEY,
    prompt_cache_options={"mode": "explicit", "ttl": "30m"},
    tools=TOOLS,
    input=[
        {
            "role": "developer",
            "content": [{
                "type": "input_text",
                "text": INSTRUCTIONS,
                "prompt_cache_breakpoint": {"mode": "explicit"},
            }],
        },
        {"role": "user", "content": task},
    ],
)

Ukuran prefix yang mau disimpan harus mencapai minimal 1.024 token biar memenuhi syarat caching di Bedrock. Dalam pengujian AWS, prefix berisi instruksi dan tool sebesar 4.120 token berhasil ditulis sekali di turn pertama dan langsung dibaca ulang di semua turn berikutnya tanpa biaya komputasi penuh.

Trik Rolling Breakpoints untuk Riwayat Percakapan dan Eksekusi Tool

Ketika agen AI mulai mengeksekusi fungsi, aplikasi kamu bertugas menjalankan fungsinya secara lokal lalu mengembalikan hasilnya ke model. Setiap hasil fungsi baru ditambahkan ke daftar riwayat (history).

Kalau kamu pakai mode eksplisit murni untuk mengelola riwayat multi-turn, triknya adalah memakai metode rolling breakpoints. Setiap kali kamu menerima hasil fungsi baru, bungkus teks tersebut dalam blok input_text dan beri penanda breakpoint pada hasil terakhir. Ingat, jangan hapus breakpoint dari turn sebelumnya agar model tetap bisa mengenali titik simpan yang lama.

Dalam pengujian alur kerja enam giliran pada model GPT-6 Astra, mode implicit caching berhasil memangkas biaya input hingga 62 persen dibanding tanpa cache. Sementara itu, teknik explicit rolling breakpoints memberikan penghematan sekitar 61 persen.

Berikut ringkasan perbandingan pendekatan caching berdasarkan data AWS:

Cara Menangani Perubahan Tool Tanpa Bikin Cache Batal

Salah satu kendala terbesar dalam arsitektur agen adalah ketika tool yang tersedia harus berubah di tengah jalan. Kalau kamu langsung mengedit atau mengubah urutan array TOOLS, seluruh cache yang dibuat di awal bakal langsung hangus.

Ada dua cara resmi yang direkomendasikan AWS untuk mengatasi masalah ini:

1. Pakai allowed_tools: Tetap kirim daftar skema tool awal yang lengkap dan terurut secara statis. Gunakan parameter tool_choice dengan konfigurasi allowed_tools untuk membatasi fungsi mana saja yang boleh dipanggil model pada langkah tertentu. Pembatasan ini nggak merusak cache karena skema awal tetap utuh.
2. Gunakan additional_tools: Endpoint Amazon Bedrock Runtime dan Mantle mendukung tipe input additional_tools untuk model GPT-6 Astra, GPT-6.1 Sol, dan GPT-5.6 Luna. Kamu bisa menyisipkan definisi fungsi baru di bagian bawah riwayat obrolan tanpa mengganggu prefix awal.

Untuk agen dengan peran berbeda, misalnya agen bagian teknis dan agen penagihan (billing), pisahkan katalog tool sejak awal sesi (cached tool profiles). Tiap profil punya prefix tersendiri yang bisa dipakai bersama oleh sesi sejenis.

Pola Subagent dan Side Calls: Hangatkan Sekali, Lalu Sebar

Ketika agen utama membagi tugas ke beberapa asisten pembantu (subagents atau helper), jangan biarkan setiap subagent membaca ulang latar belakang sistem dari awal secara mandiri. Terapkan pola warm once, then fan out.

Kirimkan satu request pemanasan sederhana dengan output pendek (misalnya minta model membalas kata "READY") untuk memicu penulisan cache awal. Setelah token masuk ke cache, jalankan subagent secara paralel menggunakan ThreadPoolExecutor:

# Pastikan prefix sudah tersimpan sebelum panggil helper paralel
shared = {"role": "developer", "content": [{
    "type": "input_text", "text": INSTRUCTIONS,
    "prompt_cache_breakpoint": {"mode": "explicit"},
}]}

warm = client.responses.create(
    model="us.openai.gpt-6-astra",
    store=False,
    tools=TOOLS,
    prompt_cache_key=KEY,
    prompt_cache_options={"mode": "implicit", "ttl": "30m"},
    max_output_tokens=16,
    input=[shared, {"role": "user", "content": "Reply READY."}],
)

# Jalankan subagent paralel setelah pemanasan selesai
helper_inputs = [[shared, {"role": "user", "content": task}] for task in helper_tasks]
with ThreadPoolExecutor(max_workers=4) as pool:
    helpers = list(pool.map(ask_with_implicit_cache, helper_inputs))

Pola yang sama berlaku untuk panggilan sampingan (side calls), seperti proses perangkuman (summarizer) atau evaluasi keamanan (judge). Cukup lakukan kloning data riwayat dengan deepcopy(history), lalu tambahkan instruksi ringkasan di paling akhir. Helper bakal membaca riwayat panjang dari cache dan cuma membayar token instruksi barunya.

Mengelola Cache Key, Waktu Kedaluwarsa (TTL), dan Monitoring di CloudWatch

Cache yang disimpan di Amazon Bedrock memiliki waktu aktif minimal (time-to-live atau TTL) selama 30 menit. Setiap kali cache tersebut berhasil dibaca ulang, masa aktifnya bakal diperpanjang otomatis.

Biar cache bisa dipakai lintas sesi pengguna, kelola prompt_cache_key secara hati-hati. Kalau kamu memakai kunci acak berbasis ID sesi, cache nggak akan pernah bisa dibagikan ke sesi pengguna lain. Buat kunci stabil berbasis hash teks instruksi:

import hashlib

def cache_key(app, model, prompt_version, instructions):
    digest = hashlib.sha256(instructions.encode()).hexdigest()[:12]
    return f"{app}:{prompt_version}:{model}:{digest}"

Untuk memantau apakah cache berjalan lancar di sistem production, pantau metrik berikut:

• Respons API: Periksa objek resp.usage.input_tokens_details untuk melihat angka pada kolom cached_tokens (token yang dibaca) dan cache_write_tokens (token yang baru ditulis).
• Amazon CloudWatch: Pada endpoint Amazon Bedrock Runtime, pantau metrik CacheReadInputTokenCount dan CacheWriteInputTokenCount.
• AWS Cost Explorer: Filter laporan berdasarkan Amazon Bedrock dan kelompokkan berdasarkan Usage type untuk melihat pemisahan biaya cache read, cache write, dan regular uncached input.

Berapa Penghematannya dan Efek Nyata Buat Developer Indonesia?

Dalam skenario agen pendukung pelanggan (support agent) yang diuji AWS, sistem berjalan dengan prefix awal sebesar 8.000 token dan melewati enam giliran obrolan yang masing-masing menambah 2.000 token baru.

Tanpa caching, biaya input mencapai $0,87 per sesi. Dengan penerapan cache statis satu kali, biaya turun ke $0,50. Ketika dioptimalkan dengan teknik rolling breakpoints, biaya input terpangkas hingga 64% menjadi hanya $0,32 per sesi. Di samping penghematan biaya, latensi time-to-first-token (TTFT) juga turun drastis karena model nggak perlu membuang waktu memproses ribuan token awal.

Buat tim engineer dan startup di Indonesia yang lagi membangun aplikasi berbasis agen otonom, efisiensi ini krusial banget. Biaya API sering kali menjadi pos pengeluaran terbesar saat produk mulai kedatangan banyak pengguna aktif. Selain itu, kecepatan respons sangat menentukan retensi pengguna lokal yang sensitif terhadap aplikasi lambat.

Kalau kamu butuh menguji prompt atau bereksperimen dengan model frontier OpenAI tanpa pusing konfigurasi cloud yang rumit, kamu juga bisa menjajal berbagai model lewat Classai Router. Tersedia pilihan model seperti GPT-6 Astra (Rp9.720 / 1 juta token input dan Rp48.600 / 1 juta token output), GPT 6.1 Sol (Rp5.130 / 1 juta token input), atau GPT-5.6 Luna (Rp1.830 / 1 juta token input) yang langsung kompatibel dengan format SDK standar tanpa kartu kredit luar negeri.

Kamu juga bisa mendalami pembuatan arsitektur aplikasi AI end-to-end lewat kelas AI untuk Developer biar pemahaman integrasi sistemmu makin matang.

Kalau kamu ingin menyiapkan prompt sistem yang siap pakai dengan struktur optimal untuk prompt caching, gunakan template berikut:

[ROLE & OBJECTIVE]Kamu adalah asisten teknis cerdas yang bertugas memecahkan masalah integrasi API dan database sistem. [RULES & CONSTRAINTS]1. Analisis masalah langkah demi langkah sebelum memutuskan memanggil fungsi eksternal.2. Jangan pernah mengulang definisi parameter fungsi jika tidak diperlukan dalam konteks baru.3. Format jawaban akhir secara ringkas dan langsung ke solusi teknis. [AVAILABLE CAPABILITIES]- Menjalankan kueri data diagnostik- Memverifikasi status token otentikasi- Memperbarui tiket kendala sistem [USER REQUEST]Lanjutkan penanganan tiket berdasarkan riwayat interaksi sebelumnya tanpa mengulang pemeriksaan awal.

Dengan menjaga konsistensi susunan teks di atas batas 1.024 token dan memposisikan data dinamis di ujung pesan, agen AI kamu bakal terbebas dari siklus Groundhog Day yang boros anggaran.