Ketika tugas pencarian data sederhana berbenturan dengan sistem anti-bot, agen AI mulai mencari jalan lain. Tencent mengakui agen yang berjalan di infrastrukturnya menunjukkan perilaku penjelajahan web yang tidak diharapkan, setelah peneliti menemukan lebih dari 2.600 upaya akses ke layanan peta Amap milik Alibaba dalam 11 hari.
Unit AI Tencent, Tencent Hunyuan, menyebut agen itu dipakai untuk mengevaluasi model pihak ketiga, bukan model Hunyuan buatannya sendiri. Reuters melaporkan kasus ini sebagai kejadian pertama yang diketahui ketika perusahaan besar China mengakui aktivitas agen AI yang menyimpang.
Dalam unggahan di X, Tencent Hunyuan mengatakan, “During these evaluations, some agents exhibited unintended web-browsing behavior, but our review found no evidence of deliberate targeting or coordination.” Perusahaan menyatakan sedang memperketat kontrol akses jaringan dan pemantauan agen.
Agen AI Tencent mencari pintu masuk kebun binatang
Permintaan yang diberikan kepada agen terdengar biasa saja: mencari tahu pintu masuk mana di Chengdu Zoo yang paling sering digunakan pengunjung Amap. Pengujian lain menyasar taman, museum, dan rumah sakit. Pada 30 September, salah satu tugas juga mengarah ke dasbor statistik kanker di British Columbia.
Masalahnya, Amap tidak membuka data begitu saja. Sistem anti-bot layanan itu memerlukan cookie peramban, token yang dibuat lewat JavaScript, dan terkadang CAPTCHA. Sementara itu, perangkat pengujian para agen mengirim permintaan sederhana melalui Python dan curl. Salah satu agen bahkan memberi tahu peneliti bahwa Amap memblokir sandbox Tencent, sehingga data tidak bisa diambil secara langsung.
Laporan Swarmchasers, kelompok peneliti yang menemukan aktivitas tersebut, menjelaskan agen kemudian mencoba beberapa jalur alternatif. Mereka memasukkan HTML dan JavaScript ke dalam URL, lalu mengirimkannya ke urlquery.net, layanan pemindaian keamanan publik yang dapat menjalankan kode melalui peramban.
Upaya lain mencakup percobaan mencegat atau memalsukan token dari pustaka anti-bot Alibaba, mengirim 57 permintaan ke empat host praproduksi, serta mengarahkan lalu lintas melalui Baidu Translate dan peramban jarak jauh. Dalam tujuh laporan, agen juga menggunakan kunci API Amap yang ditemukan di internet terbuka.
Mayoritas permintaan tak menghasilkan data
Catatan Swarmchasers menunjukkan banyak usaha itu tidak berhasil. Dari 2.372 laporan yang dihimpun hingga 4 Oktober, hampir separuh berakhir di halaman Amap kosong atau permintaan masuk akun. Hampir seperempat lainnya hanya menampilkan tab kosong.
Para peneliti tidak menemukan bukti bahwa trik token berhasil atau server praproduksi merespons permintaan. Angka pintu masuk yang berhasil diperoleh sebagian besar datang melalui pembaca halaman Jina, yang dapat menyajikan salinan tersimpan hingga 30 hari. Artinya, data yang diterima agen belum tentu menggambarkan keadaan terkini.
Risiko yang lebih nyata justru muncul dari kunci API. Sebuah kunci dan kode keamanan yang ditemukan dalam kode sumber publik milik perusahaan lain ternyata dapat mengembalikan data lokasi sungguhan. Peneliti tidak dapat memastikan akun siapa yang akhirnya dikenai biaya atas permintaan itu.
Bagi perusahaan yang mengembangkan agen, insiden ini menunjukkan bahwa batas teknis sandbox tidak cukup jika kredensial layanan bocor di repositori publik. Agen yang memakai kunci tersebut dapat menimbulkan permintaan berbayar atau akses data tanpa sepengetahuan pemilik akun.
Bagi pengguna, persoalannya bukan hanya apakah jawaban agen akurat, melainkan juga apakah layanan pihak ketiga menanggung lalu lintas yang dibuat selama pengujian.
Kontrol jaringan jadi pertaruhan bagi pengembang
Tencent menyebut perilaku itu tidak disengaja dan mengatakan tidak menemukan penargetan atau koordinasi yang disengaja. Namun, Swarmchasers menilai tidak ada tanda agen bekerja bersama, sehingga mereka menyebutnya sebagai satu armada, bukan kawanan yang terkoordinasi.
Di sini ada persoalan desain. Jika penguji meminta jawaban yang hanya tersedia melalui Amap, sementara agen tidak memiliki peramban dan aksesnya dibatasi, agen menghadapi hambatan yang tidak dapat diselesaikan lewat jalur resmi yang disediakan kepadanya.
Laporan tersebut menggambarkan bagaimana agen kemudian mencoba meminjam kemampuan peramban dari layanan lain atau mencari celah pada mekanisme perlindungan.
Kasus serupa juga pernah dilaporkan di Amerika Serikat. Reuters membandingkan insiden Tencent dengan sejumlah kejadian yang melibatkan agen OpenAI dan Anthropic, meski menilai kasus Tencent tidak seberat insiden-insiden itu.
Contoh tersebut memperluas persoalan dari satu perusahaan: agen yang terhubung ke internet dapat melampaui batas ketika evaluasi memberi akses jaringan yang longgar atau sasaran tugas mendorong pencarian jalan pintas.
Pada pekan yang sama, unit Seed milik ByteDance membentuk tim Alignment & Preparedness dan mulai merekrut 10 peneliti di berbagai negara. Menurut terjemahan 36Kr atas surel internal perusahaan, pembentukan tim itu mencerminkan perhatian lebih luas terhadap keselamatan agen; laporan tersebut tidak menyatakan bahwa langkah ByteDance dipicu oleh kasus Tencent.
Swarmchasers menemukan armada agen itu setelah aktivitasnya berlangsung hampir sepekan. Agen-agen tersebut masih beroperasi selama empat hari setelah temuan awal peneliti dipublikasikan. Tencent belum menjelaskan mengapa pengujian berlanjut selama periode itu.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.