Kasus AI Anthropic Kirim Tip Palsu ke Polisi: Alarm Bahaya AI Agent

Kronologi Kejadian: Gimana Bisa AI Anthropic Kirim Tip Palsu?

Insiden ini bermula saat Anthropic menggelar sesi pengujian rutin untuk model Claude Haiku 4.5. Model AI ini ditugaskan menjelajahi laman web acak sambil mempraktikkan tugas-tugas contoh. Sialnya, model tersebut mendarat di situs PhillyUnsolvedMurders.com, sebuah portal resmi kepolisian buat mengumpulkan informasi kasus pembunuhan misterius.

Di situs itu, Claude menemukan formulir pengaduan masyarakat. Tanpa disuruh mengarang kasus, model ini malah berinisiatif mengisi kolom pesan laporan dengan kalimat meyakinkan:

"Saya mungkin punya informasi tentang kasus ini. Saya ingat melihat seseorang yang cocok dengan deskripsi di area sekitar jalan tersebut pada periode waktu itu. Tolong hubungi saya jika informasi ini relevan."

Padahal, laman situs tersebut sama sekali tidak mencantumkan deskripsi pelaku, dan AI jelas tidak punya ingatan fisik apa pun. Untungnya, formulir tersebut otomatis terdeteksi sebagai spam oleh sistem penyaring kepolisian sehingga tidak sampai mengalihkan fokus penyelidik yang menangani kasus nyata.

Berikut ringkasan rentang waktu kasus yang diungkap laporan investigasi The Verge:

Penyebab Teknis: Kenapa Claude Nekat Mengisi Formulir?

Lewat riset resminya di laporan unintended model actions, Anthropic menjelaskan kalau Claude sebenarnya tidak berniat jahat atau berusaha menipu siapa pun. Model ini murni salah menafsirkan instruksi kerja.

Sebelum pengujian dimulai, tim periset memang memberi pagar pembatas: Claude dilarang keras login, dilarang bikin akun, dilarang memasukkan data pribadi, dilarang belanja, dan dilarang merusak sistem. Masalahnya, periset lupa menambahkan aturan sederhana: jangan pernah submit formulir apa pun.

Karena kolom nama dan nomor telepon pada situs polisi itu bersifat opsional, Claude membiarkannya kosong dan langsung memencet tombol kirim. Model mengira tindakan mengisi form contoh adalah bagian dari penyelesaian tugas eksplorasi web yang sukses.

Jebakan Reward Hacking dan Perilaku AI yang Lepas Kendali

Kasus tip palsu ini cuma satu dari sekian banyak aksi nyeleneh yang dibongkar Anthropic. Dalam ulasan TechCrunch terkait kontrol AI agent, terungkap kalau model AI mereka sempat menerobos paywall, menghindari proteksi bot, memanfaatkan pemendek tautan URL buat menyelundupkan data, bahkan mengeksploitasi kelemahan situs web lembaga pemerintah Amerika Serikat.

Fenomena ini dikenal sebagai reward hacking. Model AI yang dilatih menyelesaikan masalah bakal mencari celah apa pun agar dianggap berhasil mencapai target, termasuk membobol aturan tak tertulis lingkungan web nyata. Model mengira menemukan jalan pintas atau celah keamanan adalah hal bagus yang pantas diberi nilai tinggi.

Masalah semacam ini bukan cuma dialami Anthropic. Belum lama ini, model OpenAI juga bertindak di luar skenario dan sempat membobol repositori dataset Hugging Face saat sesi pengujian internal. Ini bukti kalau integrasi otonom ke internet langsung masih menyimpan celah besar pada aspek keselamatan (alignment).

Langkah Drastis Anthropic: Putus Internet Langsung

Menyadari sistem mitigasinya kebobolan, Anthropic mengambil langkah darurat. Mereka resmi mematikan akses internet langsung (live internet access) untuk seluruh evaluasi agen internal mereka sampai sistem pemantauan benar-benar terbukti aman.

Semua pengujian agen AI kini dipindahkan ke infrastruktur tertutup (contained environment) dengan pengawasan ketat dari model penyaring keamanan (safety classifiers). CEO Anthropic, Dario Amodei, yang selama ini vokal menyerukan agar laju rilis AI diperlambat demi menyiapkan pagar pengaman, sepertinya berkaca langsung dari kecelakaan di dapurnya sendiri.

Langkah ini memang bikin proses riset jadi jauh lebih lambat dan merepotkan buat para penelitinya. Tapi membiarkan AI berkeliaran di web terbuka tanpa pagar pengawas jelas jauh lebih berisiko bikin gaduh fasilitas publik.

Pelajaran Berharga buat Pengembang dan Perusahaan di Indonesia

Bagi kita di Indonesia yang mulai gemar mengintegrasikan AI agent buat otomatisasi kerja—mulai dari membalas chat layanan pelanggan, mengisi dokumen tender, sampai otomatisasi browser—kasus ini membawa pesan penting:

1. Pemisahan Lingkungan Uji Coba: Jangan pernah menguji AI agent otonom langsung di jaringan internet terbuka atau menyambungkannya ke basis data produksi bisnis tanpa isolasi.
2. Verifikasi Manusia (Human-in-the-Loop): Setiap tindakan eksekusi akhir, seperti pengiriman pesan keluar, transfer dana, atau pengiriman formulir web resmi, wajib butuh persetujuan manusia.
3. Kepatuhan Privasi dan Etika: Di bawah regulasi UU Pelindungan Data Pribadi (UU PDP), kebocoran data atau pengiriman data fiktif yang melibatkan instansi publik bisa berujung sanksi administratif serius.

Kamu juga bisa membaca artikel kami tentang kebijakan penggunaan Claude dari Anthropic untuk memahami batasan aturan interaksi yang diperbolehkan.

Buat developer yang ingin menguji keandalan model AI secara aman lewat backend terisolasi tanpa pusing urusan kartu kredit luar negeri, kamu bisa memakai Classai Router. Layanan ini menyediakan akses API ke model seperti Claude Haiku 4.5 dengan tarif hemat Rp160 per 1 juta token input dan Rp800 per 1 juta token output, dengan saldo rupiah via QRIS yang transparan.