Evaluasi Model Amazon Bedrock: Trik Potong Biaya AI Vision 86%

Jebakan Circular Evaluation: Saat Kunci Jawaban Ditulis Model Lama

Setelah diaudit, tim Property Finder menemukan fakta mengejutkan: 96,8 persen label evaluasi mereka diwarisi langsung dari prediksi model lama, bukan diverifikasi oleh pakar manusia. Selama ini mereka mengira, karena model lama sudah jalan di produksi tanpa komplain, hasilnya otomatis aman dipakai sebagai ground truth.

Kondisi ini bikin evaluasi jadi melingkar (circular evaluation). Setiap model alternatif dinilai bukan berdasarkan kebenaran objektif foto, melainkan seberapa mirip jawabannya dengan model lama. Parahnya lagi, label lama itu punya banyak cacat tersembunyi. Misalnya, ekstraksi teks watermark punya kesalahan level karakter yang dianggap benar, termasuk salah mengenali nama merek dan karakter hilang. Selain itu, pada 3,2 persen sampel yang sempat dilabeli manusia, para anotator memasukkan kategori di luar spesifikasi, seperti munculnya label Office yang aslinya nggak ada di daftar prompt.

Kalau kamu mau tahu taktik efisiensi token lainnya di infrastruktur cloud ini, kamu juga bisa baca ulasan teknis kami soal /developer/prompt-caching-amazon-bedrock-agen-ai-hemat-biaya.

Membangun Ground Truth Vision AI yang Bersih dan Objektif

Untuk memutus siklus evaluasi yang bias, tim Property Finder bareng AWS Generative AI Innovation Center membangun ulang dataset evaluasi dari nol tanpa melihat keluaran model lama sama sekali.

1. Anotasi oleh Pakar Domain: Tim menganotasi manual 356 gambar dari listing di Uni Emirat Arab (UEA) dan 230 gambar dari Mesir untuk cek lintas wilayah. Sebanyak 256 gambar UEA awal dijadikan development set untuk tuning, sedangkan sisa 100 gambar berikutnya digabung untuk membentuk 356 gambar evaluation set final.
2. Klarifikasi Ambigu: Sesi klarifikasi rutin diadakan bareng tim AWS untuk memastikan konsistensi standar kualitas listing properti pada setiap sampel.
3. Transisi ke Multi-label: Foto lorong yang memperlihatkan kamar tidur lewat pintu terbuka sebelumnya bikin bingung model single-label. Dengan beralih ke multi-label, model dinilai atas apa yang berhasil dikenali secara wajar tanpa dihukum karena menyebutkan ruangan kedua yang memang terlihat.
4. Pemilihan Metrik yang Pas: Metrik Micro F1 dipilih sebagai acuan utama karena memberi bobot sama pada tiap prediksi. Macro F1 tetap dipantau supaya performa di kelas langka nggak tenggelam. Selain itu, mereka melacak metrik Intersection over Union (IoU) per sampel serta exact-match accuracy untuk sembilan atribut single-label.

Optimasi Prompt Berbasis Pendekatan Reinforcement Learning

Setelah punya tolak ukur evaluasi yang adil, Property Finder mulai menata prompt. Pendekatan yang dipakai mengadopsi konsep mirip reinforcement learning atau metode GEPA (Genetic-Pareto reflective prompt evolution), di mana versi prompt diperlakukan layaknya agen, skor Micro F1 sebagai sinyal reward, dan analisis eror gambar sebagai penunjuk arah perbaikan.

Optimasi prompt ini berjalan intensif dari versi v0 sampai v27_PF. Pada tahap awal (v0), instruksi klasifikasinya sangat umum dan cuma menghasilkan Micro F1 sebesar 0,55 pada model proprietary A (baseline produksi lama dengan prompt v22). Analisis eror visual menunjukkan model sering salah fokus pada ruangan kecil di balik pintu. Tim lantas menambahkan aturan eksplisit agar model mendahulukan ruangan yang mendominasi bingkai foto.

Perbaikan berlanjut ke adaptasi lokal. Di kawasan Timur Tengah, listing foto sering memuat teks Arab dekoratif yang bukan watermark komersial. Begitu aturan khusus teks Arab ditambahkan, angka positif palsu langsung rontok drastis. Mulai dari prompt v21 yang sudah mendukung format multi-label, model Llama 4 Maverick 17B Instruct dari Meta sanggup mencetak Micro F1 sebesar 0,75 pada development set.

Masuk ke versi v27, tim memanfaatkan framework otomatis MIPROv2 dari pustaka DSPy untuk merestrukturisasi tugas klasifikasi foto. Versi pamungkas (v27_PF) menambahkan aturan khusus untuk gambar render 3D, foto berbingkai, dan koridor, yang berhasil mendorong skor Micro F1 Llama 4 Maverick 17B Instruct tembus 0,81 di development set dan 0,80 di evaluation set.

Mengapa Eksperimen Multi-Call Gagal?

Menariknya, nggak semua ide optimasi berakhir manis. Tim Property Finder sempat mencoba skema 2-bucket approach, yaitu memecah pemrosesan ke dalam dua panggilan API terpisah: satu khusus membaca atribut watermark, dan satu lagi untuk sisa atribut gambar lainnya.

Hasilnya ternyata nihil peningkatan akurasi. Justru kemampuan mendeteksi foto berbingkai (boxed-image detection) anjlok tajam. Pasalnya, tanpa konteks atribut watermark di dalam prompt yang sama, model AI malah mengira watermark di pinggir gambar sebagai garis tepi bingkai foto. Ini jadi bukti penting kalau memecah prompt visi jadi beberapa panggilan API belum tentu bikin model makin cerdas.

Hasil Uji: Llama 4 Maverick 17B Unggul Telak di Amazon Bedrock

Melalui pengujian di Amazon Bedrock, model Llama 4 Maverick 17B Instruct (v27_PF) terbukti menyamai atau melampaui performa model proprietary A di seluruh 11 atribut listing properti. Pada klasifikasi foto multi-label, keduanya mencetak skor seimbang.

Berikut rincian skor exact-match accuracy yang diraih Llama 4 Maverick 17B Instruct pada 9 atribut single-label (diuji pada 356 data evaluation set):

Enam dari sembilan atribut berhasil menembus akurasi 90 persen ke atas. Skor Micro F1 model ini secara keseluruhan mencapai 0,80, jauh meninggalkan model proprietary A yang tertahan di angka 0,56.

Perbandingan Biaya dan Kecepatan Pemrosesan

Bagi bisnis yang memproses jutaan token dan puluhan ribu gambar setiap hari, efisiensi unit ekonomi adalah kunci keberlanjutan sistem AI.

Estimasi angka $2,35 per 1.000 gambar ini dihitung berdasarkan harga wilayah AWS US East (Ohio) per Desember 2025 dengan asumsi batas atas 9.000 token input dan 200 token output per gambar. Dalam praktiknya, satu panggilan prompt v27_PF hanya memakan sekitar 7.500–8.000 token input. Berkat arsitektur open-weight yang efisien dan penghapusan panggilan ganda, Property Finder sukses menghemat pengeluaran hingga 86 persen dan mempercepat inferensi sampai 60 persen.

Bila sistem AI kamu menangani interaksi visual atau teks dengan volume tinggi dan butuh integrasi model cerdas lain seperti GPT-4o mini, DeepSeek V4.1 Flash, atau Claude Haiku, kamu bisa melirik gateway API fleksibel. Lewat Classai Router, kamu bisa menghubungkan berbagai model global terbaik cukup lewat satu endpoint terpadu.

Contoh Format Prompt JSON untuk Vision AI

Untuk mendapatkan luaran multi-label yang terstruktur seperti yang diterapkan tim Property Finder, kamu bisa memakai panduan prompt berorientasi JSON berikut saat memanggil model visi:

Kamu adalah sistem analis gambar real estate profesional. Analisis foto properti yang diberikan dan kembalikan output HANYA dalam format JSON valid tanpa teks pengantar. Tugas:1. Tentukan kategori ruangan utama berdasarkan area yang mendominasi frame.2. Jika ada ruangan lain yang terlihat jelas melalui pintu/lorong, masukkan ke dalam daftar 'secondary_rooms'.3. Deteksi apakah ada watermark logo, teks Arab dekoratif, atau atribut bingkai. Format output yang diharapkan:{  "primary_room": "string",  "secondary_rooms": ["string"],  "is_furnished": true,  "is_under_construction": false,  "has_watermark": false,  "is_boxed_frame": false}

Dampak Nyata untuk Developer dan Bisnis di Indonesia

Pembelajaran dari Property Finder ini relevan banget buat ekosistem tech dan startup di Indonesia, khususnya yang bergerak di bidang e-commerce, logistik, fintech KYC, sampai aplikasi listing properti lokal.

Pertama, banyak tim developer lokal terbiasa membuat data uji (validation set) hanya dari hasil scraping atau hasil tebakan model OpenAI yang sudah ada. Cara ini menciptakan ilusi performa. Begitu kamu mau migrasi ke model open-weight yang lebih terjangkau, model baru akan selalu dicap gagal padahal masalahnya ada pada ground truth yang cacat.

Kedua, konteks lokal sangat krusial. Seperti halnya Property Finder yang harus menyetel aturan ekstra untuk teks Arab hiasan, aplikasi di Indonesia juga punya dinamika visual khas—mulai dari stempel toko, spanduk warung, hingga foto KTP dengan latar belakang yang bervariasi. Menyesuaikan prompt dengan karakteristik visual lokal jauh lebih murah dan efektif ketimbang memaksakan fine-tuning yang mahal.

Bila tim kamu tertarik memperdalam arsitektur model bahasa dan integrasi API modern, kamu bisa bergabung di kelas AI untuk Developer guna mempelajari alur kerja AI yang rapi dan siap produksi.

Kalau kamu butuh alternatif pengujian berbagai model LLM global tanpa pusing langganan kartu kredit luar negeri, kamu bisa memanfaatkan Classai Router. Cukup pakai satu API key yang kompatibel dengan SDK OpenAI maupun Anthropic, kamu bisa langsung mencoba model hemat seperti DeepSeek V4.1 Flash (input Rp1.155 / output Rp4.200 per 1M token) atau gpt-4o-mini (input Rp945 / output Rp3.750 per 1M token) dengan top up mudah via QRIS mulai Rp10.000.