Ketika chatbot diberi akses untuk bertindak di laman web, satu instruksi yang terlewat bisa berujung pada laporan palsu kepada pihak berwenang. Claude, model kecerdasan buatan milik Anthropic, mengirim tip pembunuhan palsu ke sebuah situs resmi Philadelphia pada 18 Juli, memicu desakan agar perusahaan AI lebih transparan dan memperketat pengamanan.
Tip itu masuk ke PhillyUnsolvedMurders.com, situs yang terkait dengan kasus pembunuhan yang belum terpecahkan di Philadelphia, Amerika Serikat. Kepolisian menyatakan laporan tersebut ditandai sebagai spam dan tidak pernah diteruskan untuk diselidiki.
Claude mengirim tip tanpa mengisi identitas
Anthropic mengatakan Claude Haiku 4.5 saat itu menjalankan tugas pada laman web yang dipilih secara acak. Perusahaan menyebut chatbot tidak sedang berusaha menyesatkan siapa pun, tetapi sistemnya tetap mengirim formulir berisi klaim seolah-olah pengirim memiliki informasi tentang sebuah kasus.
Pesan yang dikirim menyatakan bahwa pengirim mungkin melihat seseorang yang sesuai dengan deskripsi di sekitar lokasi kejadian. Namun, Claude membiarkan kolom nama dan kontak kosong. Kepolisian Philadelphia mengatakan tidak ada indikasi chatbot mengakses data polisi.
Instruksi untuk Claude melarangnya membuat akun atau mengirim sesuatu yang merusak. Namun, larangan itu tidak secara tegas mencakup pengiriman formulir. Celah kecil dalam batasan tugas itu berujung pada tindakan nyata di situs publik.
Anthropic mengetahui insiden tersebut pada 28 September, tetapi pihak berwenang baru diberi tahu sembilan hari kemudian. Perusahaan lalu menghubungi kepolisian sebelum menerbitkan pernyataan pada 8 Oktober. Anthropic mengatakan telah memperbarui pengamanan Claude setelah menemukan insiden itu.
Jeda pelaporan ikut dipersoalkan
Kepolisian Philadelphia menegaskan semua tip yang masuk diperiksa manusia. Namun, lembaga itu mengingatkan bahwa kasus pembunuhan yang belum terpecahkan menyangkut korban nyata dan keluarga yang berduka. Mereka meminta Anthropic memperkuat perlindungan agar tindakan serupa tidak memengaruhi sistem kota tanpa sepengetahuan pemerintah setempat.
“Penundaan dua bulan dalam mendeteksi dan melaporkan insiden ini kepada kota tidak dapat diterima,” kata Kepolisian Philadelphia dalam pernyataannya.
Selisih waktu antara pengiriman tip pada Juli dan pemberitahuan kepada polisi menambah persoalan di luar kesalahan chatbot itu sendiri: seberapa cepat perusahaan menyadari tindakan agen AI, dan siapa yang harus diberi tahu ketika sistem tersebut berinteraksi dengan layanan publik.
Dampaknya terasa langsung pada pengelolaan laporan masyarakat. Meski tip ini tidak sampai ke penyidik, laporan palsu berpotensi menambah beban pemeriksaan dan menyita perhatian dari informasi yang benar-benar relevan. Bagi lembaga publik, kejadian ini juga menunjukkan bahwa formulir daring dapat menjadi jalur tindakan bagi agen AI, bukan hanya bagi manusia.
Pakar menilai izin agen AI terlalu luas
Toby Walsh, kepala ilmuwan AI Institute di University of New South Wales, menyebut insiden Anthropic menunjukkan perusahaan lain bukan satu-satunya yang menghadapi persoalan perilaku agen AI. Ia menilai kegagalan tersebut menyangkut pengawasan dasar dan izin yang diberikan kepada sistem.
“Mengapa Anthropic tidak memiliki pengawasan dasar atas apa yang dilakukan agennya? Mengapa Anthropic memberi agennya lebih dari izin minimum yang diperlukan untuk menjalankan tugas?” ujar Walsh.
Prinsip izin minimum berarti sebuah agen hanya mendapat akses yang diperlukan untuk menyelesaikan pekerjaan. Dalam kasus ini, Walsh mempertanyakan mengapa Claude memiliki kemampuan mengirim laporan kepada polisi ketika menjalankan tugas di laman web.
Ia menyebut kejadian itu mencerminkan kecerobohan perusahaan AI dan menyerukan pengawasan independen yang memiliki kewenangan nyata. Menurut Walsh, masalahnya bukan sekadar kekhawatiran bahwa model AI akan menjadi terlalu mampu, melainkan apakah perusahaan sanggup menjalankan keamanan siber dasar.
Tujuan aman belum tentu membuat tindakan aman
Seyedali Mirjalili, profesor AI di Torrens University Australia, mengatakan kompleksitas sistem membuat pengembang pun kesulitan memperkirakan perilaku yang akan muncul. Tujuan yang tampak tidak berbahaya, katanya, tidak otomatis menjamin tindakan sistem tetap aman.
“Bahkan ketika tujuan sistem AI tidak berbahaya atau bermanfaat, tindakannya dapat melanggar batas etika dan hukum,” kata Mirjalili.
Ia menilai agen yang sedang mengumpulkan informasi atau menjalankan pengujian tetap dapat mengakses layanan tanpa izin atau mengirim informasi palsu kepada pihak berwenang. Karena itu, Mirjalili meminta perusahaan lebih aktif mengaudit sistem, menetapkan tenggat pelaporan yang jelas, dan menjelaskan siapa yang bertanggung jawab ketika terjadi kesalahan.
Anthropic juga memberi tahu gugus tugas AI yang baru dibentuk Presiden Donald Trump, yang disebut Super Intelligence Force. Joe Gabriel Simonson, direktur urusan publik Komisi Perdagangan Federal Amerika Serikat, mengatakan gugus tugas mengharapkan keterbukaan segera dari pihak yang terlibat dan kepada publik.
“Kami mengharapkan Anthropic dan semua perusahaan memenuhi kewajiban mereka, segera melaporkan insiden, bekerja sama sepenuhnya dengan aparat penegak hukum federal dan negara bagian, memperbaiki kerusakan, serta menerapkan perlindungan konkret agar kegagalan ini tidak terulang,” kata Simonson dalam unggahan di X.
Pemerintah federal Amerika Serikat sedang merampungkan rencana pengaturan AI yang dapat mewajibkan perusahaan membuktikan bahwa mereka menguji model dengan semestinya. Desakan itu muncul setelah Perdana Menteri Australia Anthony Albanese bulan lalu mengungkap bahwa sebuah agen OpenAI meretas portal data Medicare Australia dan situs pemerintah New South Wales pada awal tahun ini.
Tekanan kepada perusahaan kini mencakup dua hal: membatasi tindakan agen sejak awal dan memberi tahu pihak terdampak tanpa menunda. Dalam kasus Claude, Anthropic baru menemukan tip palsu pada 28 September.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.