Context Engineering AI Agent: Trik Deep Insight Hemat Token 95%

Apa Itu Context Engineering AI Agent dan Kenapa Penting Banget?

Context engineering adalah disiplin merancang dan mengoptimalkan informasi di dalam batas context window model bahasa besar (LLM) supaya agen bisa bekerja dengan performa paling maksimal. Banyak yang mengira kapasitas 200K token itu luas banget dan mustahil habis. Nyatanya, alur kerja dunia nyata bikin token terbakar cepat banget.

Bayangkan kamu menyuruh satu agen AI mengerjakan tugas: eksplorasi data (5 menit), analisis penjualan per kategori (3 menit), bikin 5 grafik deret waktu (10 menit), validasi statistik (3 menit), lalu menyusun dokumen laporan akhir DOCX (5 menit). Rangkaian proses ini bisa memakan lebih dari 150K token cuma dalam 15 menit saja.

Kalau semua tugas itu dipaksakan dalam satu sesi konteks obrolan, bakal muncul fenomena yang disebut Anthropic sebagai context rot. Makin banyak token menumpuk di memori, kemampuan model buat mengingat fakta penting justru makin drop, akurasi anjlok, dan biaya API membengkak karena kamu membayar jutaan token berulang kali. Solusinya bukan sekadar memendekkan prompt, tapi membangun sistem pertahanan berlapis.

Lapisan 1 (Arsitektur): Isolasi Konteks Lewat Sistem Multi-Agent

Prinsip pertama yang dipakai Deep Insight adalah memecah beban ke banyak agen spesialis yang masing-masing punya context window sendiri. Deep Insight memakai hierarki Coordinator, Planner, Plan Reviewer, Supervisor, dan jajaran Tool Agents (Coder, Validator, Reporter, Tracker, serta Auditor).

Kalau kamu pakai agen tunggal, riwayat eksplorasi data mentah dan eror koding bakal nempel terus sampai tahap akhir. Tapi dengan arsitektur agen AI terisolasi, agen Coder yang kerjanya paling berat sekalipun cuma menghabiskan di bawah 25K token. Agen cuma menerima instruksi yang relevan, lalu mengirimkan laporan singkat begitu tugasnya selesai.

Kunci sukses isolasi ini terletak pada pembatasan data bersama. Deep Insight memakai satu dictionary Python bernama shared_state yang cuma menyimpan empat elemen:

• messages: Pesan terakhir dari agen sebelumnya (bukan seluruh rekaman chat).
• clues: Ringkasan padat berisi temuan kunci dari tiap agen.
• full_plan: Daftar checklist rencana kerja dari Planner yang diperbarui Tracker.
• history: Catatan singkat nama agen yang jalan beserta pesannya.

Format transfernya pun dibuat super ringkas memakai pola terstandarisasi:

# coder_agent_tool.py -- format oper konteks
CLUES_FORMAT = "Here is clues from {}:\n\n<clues>\n{}\n</clues>\n\n"
RESPONSE_FORMAT = "Response from {}:\n\n<response>\n{}\n</response>\n\n*Please execute the next step.*"

# Begitu Coder selesai: cuma hasil ringkas yang masuk ke clues
clues += CLUES_FORMAT.format("coder", response["text"])

Pola ini sejalan dengan rekomendasi Anthropic untuk pola orchestrator-worker. Menariknya, kamu nggak perlu bikin dari nol karena fitur agents-as-tools pada Strands Agents SDK dan Amazon Bedrock AgentCore sudah menyediakan isolasi level framework ini secara bawaan.

Lapisan 2 (Prompt): Batasi Output dan Terapkan Kode Mandiri

Isolasi saja belum tuntas mengatasi masalah. Kalau satu sub-agen menghasilkan jawaban sepanjang novel, konteks milik Supervisor bakal tetap penuh sesak. Makanya, Lapisan 2 mengunci perilaku agen lewat prompt yang disiplin.

Budget Token Output yang Jelas

Setiap agen diberi batas maksimal token keluaran yang tegas di dalam prompt:

• Coder (1.000–1.500 token): Kode analisis wajib disimpan langsung ke file lokal, jadi agen cuma boleh membalas ringkasan status dan insight penting.
• Validator (800 token): Detail angka ditaruh di file citations.json, balasannya ke supervisor cuma ringkasan validasi.
• Reporter (1.000 token): Dokumen panjang langsung dirakit jadi file DOCX, respons teksnya sekadar laporan hasil eksekusi.

Semua agen memakai format respons seragam biar rapi:

## Status[SUCCESS | PARTIAL_SUCCESS | ERROR]## Completed Tasks- [Tugas 1 dari FULL_PLAN -- pakai kalimat persis agar Tracker bisa mengenali]- [Tugas 2 -- tulis spesifik, jangan umum]## Key Insights- [Temuan kunci 1 lengkap dengan angka dan rasio]- [Temuan kunci 2 lengkap dengan dampak bisnis]## Generated Files- ./artifacts/chart.png -- deskripsi singkat file- ./artifacts/calculation_metadata.json -- metadata perhitungan

Filosofi Kode Mandiri (Self-Contained Code)

Aturan wajib buat agen Coder: variabel dilarang bergantung pada skrip sebelumnya. Setiap skrip Python baru harus memuat import sendiri dan memuat data langsung dari file cache lokal. Kenapa aturan ini krusial buat konteks?

Kalau skrip kedua butuh variabel dari skrip pertama, LLM terpaksa harus menyimpan seluruh riwayat kode lama di dalam konteks obrolan. Begitu kita mewajibkan skrip berdiri sendiri (self-contained), kode lama bisa langsung dibuang dari memori tanpa takut skrip berikutnya kena NameError.

Lapisan 3 (Tools): Data Berat Masuk File, Konteks Cuma Bawa Pointer

Kadang prompt pendek nggak mempan karena skrip analisis memang butuh puluhan baris logika. Deep Insight mengatasinya di Lapisan 3 dengan prinsip: hanya simpan pointer di konteks, data aslinya taruh di file eksternal.

Pangkas 95% Token dengan Write and Execute Tool

Biasanya agen koding memakai dua alat terpisah: satu alat buat nulis file, satu lagi buat menjalankan perintah terminal. Cara terpisah ini bikin ratusan baris kode masuk ke riwayat obrolan dan menumpuk sampai ribuan token.

Deep Insight menggabungkan dua tahap itu jadi satu fungsi bernama write_and_execute_tool. Alat ini menulis file ke disk, langsung menjalankannya lewat subprocess, lalu cuma mengembalikan 3 baris teks ringkas ke konteks model (misalnya: "Wrote 105 lines, execution successful, output preview..."). Kode aslinya tetap berada di file harddisk. Berdasarkan implementasi Deep Insight, trik sederhana ini menghemat sekitar 95 persen token per eksekusi skrip.

# write_and_execute_tool.py
def _handle_write_and_execute_tool(file_path, content, timeout=300):
    """Tulis skrip Python dan langsung eksekusi di sistem."""
    with open(file_path, 'w', encoding='utf-8') as f:
        f.write(content)
    result = subprocess.run(
        f"python {file_path}",
        shell=True,
        capture_output=True,
        timeout=timeout
    )
    return f"Written {len(content.split(chr(10)))} lines to {file_path}\n" \
           f"Execution successful\n" \
           f"Output: {result.stdout[:500]}"  # Cuma 500 karakter pertama

Filesystem Sebagai Jalur Komunikasi Antar-Agen

Daripada saling kirim data tabel raksasa lewat pesan chat, biarkan filesystem lokal jadi jalur komunikasi utama:

• all_results.txt: Buku catatan kumulatif temuan Coder yang dibaca Reporter saat menyusun draf akhir.
• calculation_metadata.json: Catatan rumus, sumber kolom, dan angka mentah dari Coder untuk diverifikasi tim audit.
• citations.json: Data sitasi yang sudah divalidasi resmi untuk disisipkan sebagai referensi laporan.
• coder_analysis_utils.py: Modul logika bersama yang dibikin sekali di awal tugas, lalu diimpor berulang kali oleh skrip lain agar hemat token pembuatan fungsi.

Muat Panduan Lewat Fitur Skills (Hemat 97% Prompt)

Daripada memasukkan seluruh panduan teknis ke dalam system prompt sejak awal—yang bisa makan lebih dari 20.000 token—Deep Insight memakai teknik just-in-time loading.

Di awal, agen cuma diberi katalog ringkas berisi nama dan deskripsi keahlian (~500 token). Saat pengguna minta bikin README, agen memanggil alat skill_tool(skill_name="readme-generator") untuk membaca file SKILL.md terkait secara dinamis (~3.000 token). Trik ini menyusutkan ukuran system prompt awal hingga sekitar 97 persen.

Lapisan 4 (Verifikasi): Agen Penjaga Mutu dan Jaring Pengaman Terakhir

Isolasi agen punya satu kelemahan: kalau agen Coder salah hitung matematika di balik layar, agen Reporter nggak bakal tahu dan langsung menuliskannya di laporan. Lapisan 4 bertindak sebagai auditor independen dan jaring pengaman darurat.

1. Tracker: Memperbarui status checklist rencana dari [ ] jadi [x] secara real-time begitu tugas tuntas, bikin proses transparan.
2. Validator: Menguji ulang perhitungan matematis dari Coder dengan membaca calculation_metadata.json. Nilai dikonversi ke float dengan batas selisih di bawah 0.01. Biar hemat waktu, Deep Insight memakai skala prioritas: jika kalkulasi lebih dari 50, hanya hitungan berlabel prioritas tinggi dan 10 prioritas sedang yang dihitung ulang.
3. Auditor: Memeriksa draf final DOCX terhadap file metadata secara read-only. Kalau ada data ngawur, Auditor bisa meminta revisi terarah maksimal dua kali kepada Reporter.

Untuk mengantisipasi lonjakan obrolan tak terduga, Deep Insight memasang SummarizingConversationManager dari Strands Agents SDK. Fitur ini secara otomatis merangkum 50 persen pesan paling lama dan tetap mempertahankan 10 pesan terakhir agar alur kerja yang sedang aktif nggak terputus.

Strategi Prompt Caching: Pangkas Biaya Token Sampai 90 Persen

Context engineering bukan cuma soal menghemat kapasitas memori, tapi juga memangkas tagihan bulanan. Amazon Bedrock dan Anthropic mendukung prompt caching, tapi memasang cache di semua agen justru buang-buang biaya kalau polanya salah hitung.

Deep Insight menerapkan strategi caching selektif berdasarkan frekuensi pemanggilan agen:

Dengan mengaktifkan titik cache pada system prompt dan tool agen yang tepat, biaya token input pada panggilan berulang bisa terpangkas sampai 90 persen.

Cara Mencoba Pola Context Engineering Ini di Project Kamu

Kamu nggak harus menunggu membangun sistem serumit Deep Insight buat mulai menikmati keuntungannya. Berikut langkah praktis yang bisa kamu terapkan hari ini juga:

1. Satukan Fungsi Tulis dan Eksekusi: Ubah toolset agen kodingmu. Jangan biarkan kode mentah masuk ke pesan chat. Buat satu tool Python yang menerima teks kode, mengeksekusinya di sandbox, dan cuma mengembalikan pesan status singkat.
2. Keluarkan Dokumen Besar ke File: Gunakan penyimpanan lokal buat menampung data mentah. Kirimkan path atau nama file saja ke prompt model bahasa.
3. Bagi Peran Agen: Pisahkan agen pembuat rencana dari agen pengeksekusi. Jangan biarkan riwayat pembuatan rencana mengotori proses komputasi data.
4. Gunakan Model Sesuai Porsinya: Untuk tugas orkestrasi dan audit logika rumit, kamu butuh model papan atas seperti keluarga Claude Sonnet atau GPT-4o. Buat tugas ekstraksi ringan seperti Tracker, model yang lebih hemat sudah cukup.

Kalau kamu butuh menguji coba berbagai model untuk arsitektur agen ini tanpa ribet gonta-ganti SDK, kamu bisa memanfaatkan Classai Router. Lewat satu API key yang kompatibel langsung dengan pustaka OpenAI dan Anthropic, kamu bisa berganti dari claude-sonnet-5 (Rp3.210 / Rp15.750 per 1M token) ke gpt-4o (Rp525 / Rp2.700 per 1M token) atau deepseek-v4.1-flash (Rp1.155 / Rp4.200 per 1M token) cukup dengan mengganti satu baris string model. Sistem pembayarannya juga praktis dalam Rupiah via QRIS tanpa perlu pusing memikirkan kartu kredit luar negeri.

Kamu yang ingin mendalami pembuatan sistem agen otomatis dari dasar juga bisa belajar langsung lewat materi terstruktur di kelas AI untuk Developer.

Dampak Nyata Buat Developer dan Tim AI di Indonesia

Bagi praktisi teknologi dan developer di Indonesia, teknik context engineering membuka efisiensi besar di tiga aspek utama:

1. Stabilitas Aplikasi Produksi: Masalah agen AI tiba-tiba lupa instruksi awal di tengah proses analisis data bisa diatasi total lewat isolasi konteks dan file perantara.
2. Efisiensi Anggaran API: Dengan penghematan token hingga 95 persen lewat tool terpadu dan prompt caching, operasional aplikasi AI enterprise yang tadinya memakan biaya jutaan rupiah per bulan bisa ditekan jadi jauh lebih hemat.
3. Kepatuhan Privasi Data: Menggunakan penyimpanan file lokal di server internal sebagai media oper data—alih-alih mengirimkan seluruh data mentah ke API eksternal secara berulang—membantu tim menjaga privasi data sesuai tata kelola yang baik.

Arsitektur Deep Insight ini sudah dirilis sebagai proyek open source oleh tim AWS di repositori GitHub sample-deep-insight. Pendekatan 4 lapis ini membuktikan bahwa agen AI yang handal bukan lahir dari model yang paling mahal, melainkan dari desain konteks yang disiplin dan terstruktur rapi.