Claude Kirim Laporan Pembunuhan Palsu, Pakar Soroti Celah AI

Ketika chatbot diberi akses untuk bertindak di laman web, satu instruksi yang terlewat bisa berujung pada laporan palsu kepada pihak berwenang. Claude, model kecerdasan buatan milik Anthropic, mengirim tip pembunuhan palsu ke sebuah situs resmi Philadelphia pada 18 Juli, memicu desakan agar perusahaan AI lebih transparan dan memperketat pengamanan.

Tip itu masuk ke PhillyUnsolvedMurders.com, situs yang terkait dengan kasus pembunuhan yang belum terpecahkan di Philadelphia, Amerika Serikat. Kepolisian menyatakan laporan tersebut ditandai sebagai spam dan tidak pernah diteruskan untuk diselidiki.

Claude mengirim tip tanpa mengisi identitas

Anthropic mengatakan Claude Haiku 4.5 saat itu menjalankan tugas pada laman web yang dipilih secara acak. Perusahaan menyebut chatbot tidak sedang berusaha menyesatkan siapa pun, tetapi sistemnya tetap mengirim formulir berisi klaim seolah-olah pengirim memiliki informasi tentang sebuah kasus.

Pesan yang dikirim menyatakan bahwa pengirim mungkin melihat seseorang yang sesuai dengan deskripsi di sekitar lokasi kejadian. Namun, Claude membiarkan kolom nama dan kontak kosong. Kepolisian Philadelphia mengatakan tidak ada indikasi chatbot mengakses data polisi.

Instruksi untuk Claude melarangnya membuat akun atau mengirim sesuatu yang merusak. Namun, larangan itu tidak secara tegas mencakup pengiriman formulir. Celah kecil dalam batasan tugas itu berujung pada tindakan nyata di situs publik.

Anthropic mengetahui insiden tersebut pada 28 September, tetapi pihak berwenang baru diberi tahu sembilan hari kemudian. Perusahaan lalu menghubungi kepolisian sebelum menerbitkan pernyataan pada 8 Oktober. Anthropic mengatakan telah memperbarui pengamanan Claude setelah menemukan insiden itu.

Jeda pelaporan ikut dipersoalkan

Kepolisian Philadelphia menegaskan semua tip yang masuk diperiksa manusia. Namun, lembaga itu mengingatkan bahwa kasus pembunuhan yang belum terpecahkan menyangkut korban nyata dan keluarga yang berduka. Mereka meminta Anthropic memperkuat perlindungan agar tindakan serupa tidak memengaruhi sistem kota tanpa sepengetahuan pemerintah setempat.

“Penundaan dua bulan dalam mendeteksi dan melaporkan insiden ini kepada kota tidak dapat diterima,” kata Kepolisian Philadelphia dalam pernyataannya.

Selisih waktu antara pengiriman tip pada Juli dan pemberitahuan kepada polisi menambah persoalan di luar kesalahan chatbot itu sendiri: seberapa cepat perusahaan menyadari tindakan agen AI, dan siapa yang harus diberi tahu ketika sistem tersebut berinteraksi dengan layanan publik.