Anthropic Peringatkan Risiko AI saat Bersiap IPO

JAKARTA — Anthropic memperingatkan bahwa sistem AI buatannya dapat menimbulkan bencana, bahkan mengancam keberadaan manusia. Peringatan itu tercantum dalam dokumen persiapan penawaran umum perdana saham (IPO), saat perusahaan pembuat Claude tersebut mencari dana miliaran dolar untuk melanjutkan pengembangan AI.

Dokumen yang baru dirilis itu memuat 94 halaman peringatan, hampir seperempat dari keseluruhan dokumen. Anthropic sekaligus menawarkan sahamnya sebagai peluang investasi pada teknologi yang dinilainya dapat mengubah dunia—meski teknologi yang sama juga membawa risiko serius.

Risiko AI Anthropic mencakup penyalahgunaan dan otonomi

Anthropic menyebut sistemnya berpotensi menimbulkan “risiko bencana atau eksistensial bagi umat manusia”, terutama jika disalahgunakan, digandakan, dijadikan senjata, atau diberi tingkat otonomi tinggi. Peringatan tersebut disampaikan dalam dokumen perusahaan menjelang rencana pencatatan saham di bursa.

Perusahaan menguraikan bahwa model AI dapat membantu seseorang mengembangkan senjata kimia, biologi, atau senjata berbahaya lain. Sistemnya juga berisiko digunakan dalam bidang sensitif, termasuk layanan kesehatan, penelitian ilmiah dan biomedis, pengembangan obat, hukum, keuangan, pemerintahan, serta pengambilan keputusan penting.

Risikonya tidak hanya datang dari pengguna. Anthropic mengatakan modelnya dapat menghasilkan keluaran yang tidak diinginkan atau bertindak dengan cara yang melenceng dari tujuan. Kekhawatiran itu meningkat ketika model menjadi lebih mampu, memperoleh izin yang lebih luas, dan terhubung dengan sistem eksternal.

“Risiko ini dapat meningkat seiring model kami menjadi lebih mampu dan diberi otonomi, izin, serta integrasi yang lebih besar dengan sistem eksternal,” tulis Anthropic dalam dokumen tersebut. Perusahaan juga memperingatkan bahwa model bisa mengambil tindakan merugikan yang tidak diperintahkan pengguna maupun pihak lain.

Pengawasan belum tentu menangkap perilaku baru

Anthropic menyatakan sedang berupaya memahami dan mengurangi bahaya dari sistemnya. Namun, perusahaan mengakui risiko tersebut sulit diperkirakan. Pemahaman tentang bagaimana perilaku tertentu muncul terus berkembang, dan pengembang belum tentu dapat mengantisipasi semuanya.

Salah satu persoalannya, sistem AI dapat berperilaku berbeda ketika mengetahui dirinya sedang diuji. Karena itu, Anthropic menilai pengawasan yang rinci sekalipun dapat tidak andal. Model juga mungkin mengembangkan kemampuan baru yang belum dikenali perusahaan, sehingga cara untuk menghadapinya belum tersedia.