AgentCore Gateway MoEngage: Sulap 400 API Jadi Tools AI Agent

Kenapa Bikin 20 MCP Server Mandiri Itu Ide Buruk?

Belakangan ini, Model Context Protocol (MCP) emang jadi standar emas buat agen AI nemuin dan manggil tools eksternal. Waktu pertama kali mau mengadopsi MCP, jalan paling simpel yang terpikirkan adalah menyuruh tiap-tiap tim produk bikin dan ngejalanin MCP server mereka sendiri. Tapi setelah dihitung-hitung biayanya, MoEngage langsung nolak mentah-mentah ide itu.

Bayangin aja, kalau ada 20 server MCP terpisah, tim kamu harus memantau, nambal bug, dan menjaga kompatibilitas 20 server itu setiap kali spek protokol MCP di-update. Belum lagi agen yang butuh akses lintas domain—misalnya agen yang harus baca data kampanye, ngecek segmen audiens, sekaligus mantau status pengiriman. Agen model begini bakal ribet banget karena harus bolak-balik konek ke beberapa server MCP sekaligus.

Akhirnya MoEngage netapin prinsip tegas: tim produk nggak boleh disuruh nulis kode server MCP. Tugas tim produk cuma fokus bikin REST API yang rapi dan bikin dokumentasi OpenAPI spec yang jelas. Lapisan MCP seutuhnya diurus terpusat oleh tim AI Platform.

4 Pantangan Wajib dalam Arsitektur AgentCore Gateway MoEngage

Biar integrasi ribuan API ini nggak jadi mimpi buruk keamanan, MoEngage menetapkan 4 batasan ketat yang semuanya wajib dipenuhi:

1. Nggak boleh ada endpoint publik sama sekali. Semua API internal MoEngage sifatnya privat di dalam VPC. Solusi apa pun yang minta API dibuka ke internet publik, meskipun dipasangi login tambahan, langsung dicoret.
2. Konteks identitas bukan urusan model AI. Parameter kayak tenant, user ID, role, dan database nggak boleh ditaruh jadi argumen tool yang dilihat model. Kalau model bisa ngeliat atau ngubah identitas, model bisa gampang kena manipulasi prompt injection.
3. Katalog 400 tools haram dijejalkan ke context window. Rata-rata skema JSON tiap tool butuh 50 token. Kalau 400 tool dipaksain masuk lewat tools/list, udah abis lebih dari 20.000 token cuma buat daftar tool doang sebelum agen mulai mikir!
4. Nggak mau bikin infrastruktur custom dari nol. Bikin server MCP sendiri dari awal bakal ngebuang waktu tim cuma buat bikin pipeline penerjemah tool, parser izin, dan circuit breaker yang nggak ada hubungannya langsung sama kecerdasan agen.

Solusi Cerdas: Bedrock AgentCore Gateway dan Cedar Policies

Di sinilah Amazon Bedrock AgentCore Gateway masuk sebagai penyelamat. Fitur ini bertindak sebagai managed MCP server yang siap pakai. Kamu cukup daftarin file OpenAPI spec, lalu gateway bakal otomatis menyulapnya jadi tool MCP dan mengarahkan panggilan ke service internal.

Kelebihan utamanya ada pada evaluasi Cedar policy language langsung di sisi server. Jadi, katalog tool difilter pakai aturan hak akses ketat sebelum responsnya dibikin dan dikirim ke agen. Ini beda banget sama trik filter di sisi client yang gampang diakali.

Sebagai contoh, bot yang cuma bertugas ngecek kualitas kampanye (QA bot) dikasih izin baca tapi dilarang keras manggil aksi tulis lewat potongan Cedar policy berikut:

permit(
  principal == Agent::"campaign-qa-bot-v1",
  action == Action::"tools/call",
  resource in ToolGroup::"campaigns-read"
);

forbid(
  principal == Agent::"campaign-qa-bot-v1",
  action == Action::"tools/call",
  resource in ToolGroup::"write-actions"
);

Karena dilarang di server, daftar tool buat operasi tulis bahkan nggak bakal pernah dikirim ke bot itu. Aman banget, kan?

Menengok Arsitektur Lapisan Privat MoEngage

Alur kerja dari agen ke API internal dirancang sangat efisien. Agen yang jalan di container atau Amazon EC2 bakal memanggil client MCP (bisa pakai MCP SDK resmi, LangChain, atau runner milik MoEngage sendiri).

Seperti yang kelihatan pada diagram arsitektur di atas, agen menandatangani request pakai signature SigV4 memanfaatkan IAM role bawaan. Request jalan mulus lewat VPC interface endpoint dengan DNS privat tanpa loncat ke internet publik. Begitu sampai di AgentCore Gateway, kebijakan Cedar dievaluasi, lalu panggilan diteruskan lewat managed egress Amazon VPC Lattice ke service API internal.

MoEngage juga memisahkan identitas secara pintar: info tenant dan akun pengguna diselipkan di header kustom X-MOE-*, bukan di argumen tool. Model AI sama sekali nggak bisa ngeliat atau ngutak-atik header ini. Selain itu, tahap pencarian tool (discovery) dibuat terpisah dari tahap eksekusi (tools/call), jadi proses pencarian tool tetap ringan dan hemat biaya audit.

Trik Semantic Search: Context Window Tetap Hemat

Biar agen nggak pusing ngeliat ratusan tool yang diizinkan, MoEngage memanfaatkan fitur pencarian semantik bawaan bernama x_amz_bedrock_agentcore_search. Di awal percakapan, model cuma dikasih satu meta-tool bernama search_tools.

Ketika agen butuh sesuatu, dia tinggal mendeskripsikan apa yang mau dikerjakan dalam bahasa alami. Gateway bakal nyari tool yang paling cocok dan cuma ngasih kandidat tool yang relevan buat giliran obrolan saat itu. Kerennya lagi, kalau nama API diubah sama developer backend (misalnya dari get_segment_user_count jadi get_segment_size), agen AI nggak bakal rusak atau error karena pencariannya berbasis deskripsi tugas, bukan nama fungsi mentah.

Berikut perbandingan ringkas antara pendekatan lama (bikin MCP sendiri) dibanding memakai AgentCore Gateway:

Cara Mendaftarkan API Baru Cuma Modal OpenAPI Spec

Proses menambahkan API baru ke dalam ekosistem agen AI ini beneran gampang banget buat tim engineer MoEngage. Mereka nggak perlu paham protokol MCP yang njelimet. Mereka cukup nambahin blok konfigurasi x-moe-mcp di file OpenAPI spec yang udah ada:

paths:
  /campaigns:
    get:
      operationId: listCampaigns
      description: |
        Returns a paginated list of campaigns. Supports filtering by
        status, channel, date range, and tags.
      x-moe-mcp:
        expose:
          external: false
          internal: true
        tool_description: |
          Find campaigns by status or channel. Returns campaign ID, name,
          status, and channel. Use the returned campaign_id with
          get_campaign for full details, or send_campaign to launch it.
        param_overrides:
          status:
            description: |
              Filter by campaign status. Use 'active' for running
              campaigns, 'scheduled' for upcoming. Omit for all.

Ada dua insight menarik dari cara ini:

1. Pemisahan teks teknis dan teks buat model: MoEngage menemukan fakta bahwa deskripsi API teknis buat programmer sering bikin model AI bingung milih tool. Makanya disediakan field tool_description yang isinya fokus ngasih tahu kapan dan kenapa model harus manggil tool itu.
2. Otomatis lewat CI/CD: Begitu spek di-push ke git, pipeline CI otomatis memvalidasi, mendaftarkan target ke gateway, dan memperbarui Cedar policy tanpa perlu repot bikin tiket permintaan ke tim platform AI.

Kalau kamu pengin nguji coba logika agen yang manggil tools lewat prompt sistem terstruktur, kamu bisa nyobain template prompt berikut buat mengarahkan agen kamu:

Kamu adalah asisten internal MoEngage. Tugas utamamu adalah membantu tim pemasaran mengecek kualitas kampanye sebelum tayang. Aturan kerja:1. Selalu gunakan meta-tool `search_tools` terlebih dahulu untuk menemukan endpoint kampanye yang relevan.2. Jangan pernah menebak ID kampanye atau ID segmen; tanyakan ke pengguna jika belum ada.3. Jangan mencoba mengubah status atau memicu aksi pengiriman pesan karena akunmu hanya memiliki izin baca.

Hasil Nyata Setelah Tiga Bulan Berjalan di Produksi

Sistem berbasis AgentCore Gateway ini udah jalan di lingkungan produksi MoEngage selama tiga bulan di 7 Region AWS. Sekarang ada sekitar 400 API yang aktif melayani 10 agen AI internal, termasuk agen QA kampanye, pemantau kesehatan pengiriman pesan, sampai pembuat segmen otomatis yang nerjemahin bahasa sehari-hari jadi query data audiens.

Pola kerja search-first ini terbukti bikin arsitektur sistem mereka tahan banting. Agen baru nggak perlu lagi nyimpen daftar nama tool secara hardcoded di dalam kodenya. Cukup deskripsikan tugas, cari tool yang pas di gateway, dan panggil hasilnya secara privat.

Bagi kamu yang juga lagi bereksperimen mengaitkan LLM ke sistem database atau API kantor, kamu bisa mengecek panduan arsitektur Bedrock AgentCore dan teknik pencegahan risiko di artikel deteksi misalignment OpenAI biar agen kamu nggak bertindak melampaui wewenangnya.

Coba Model AI Terkini Buat Agenmu Lewat Classai Router

Untuk membangun agen AI yang lihai manggil tools dan paham instruksi JSON schema yang rumit, kamu butuh model reasoning yang gesit dan presisi. Lewat Classai Router, kamu bisa mengakses beragam model frontier langsung pakai satu API key standar tanpa ribet kartu kredit luar negeri.

Kamu bisa nyobain model cerdas kayak Claude Sonnet 5.5 (Anthropic) seharga Rp3.600 / Rp18.000 per 1 juta token, atau GPT-4o (OpenAI) di harga Rp525 / Rp2.700 per 1 juta token. Kalau kamu butuh opsi super kencang buat klasifikasi intent, ada juga DeepSeek V4.1 Flash dengan biaya hemat cuma Rp1.155 / Rp4.200 per 1 juta token. Cukup arahkan base URL SDK OpenAI atau Anthropic kamu ke router.classai.id/v1, dan kamu bisa langsung gonta-ganti model cukup dengan ubah satu baris string kode aja.

Penasaran pengin perdalam skill bikin aplikasi AI dari nol? Kamu juga bisa gabung dan belajar terarah bareng praktisi di kelas AI untuk Developer.