Aplikasi AI Deepfake Asusila Lolos Pemeriksaan App Store

JAKARTA — Lebih dari 400 aplikasi AI deepfake dengan fitur seksual dan kekerasan tersembunyi ditemukan di App Store Apple dan Google Play setelah lolos pemeriksaan aplikasi. Di balik tampilan seperti layanan les bahasa atau pelatih olahraga berbasis AI, sejumlah aplikasi dapat membuka alat untuk membuat gambar dan video eksplisit dari foto yang diunggah pengguna.

Temuan ini memperlihatkan bagaimana aplikasi yang tampak biasa dapat berubah fungsi setelah dipasang. Apple kemudian menghapus 19 aplikasi setelah menerima informasi mengenai jaringan tersebut.

Bagaimana aplikasi AI deepfake menyamarkan fiturnya?

Aplikasi dalam jaringan itu menggunakan taktik umpan-dan-alih: saat diperiksa, aplikasi menampilkan fungsi yang tampak wajar, tetapi fitur berbahaya dapat muncul dalam kondisi tertentu. Pemeriksaan dari server atau akses setelah pengguna mengetuk iklan di platform Meta disebut dapat memicu tampilan antarmuka tersembunyi.

Salah satu contoh yang disebut dalam temuan adalah Viefur. Aplikasi itu tampak dirancang untuk mengubah foto hewan peliharaan, termasuk dengan memberi mereka pakaian, tetapi jaringan yang sama juga memuat aplikasi yang mengaku menawarkan les bahasa atau pelatihan olahraga berbasis AI.

Setelah fitur tersembunyi aktif, pengguna dapat mengunggah foto dan memilih templat untuk menghasilkan gambar atau video seksual eksplisit. Beberapa skenario yang tersedia menggambarkan kekerasan seksual dan ancaman dengan pisau. Konten seperti ini berisiko dipakai untuk mempermalukan, mengintimidasi, atau mengancam orang yang fotonya digunakan tanpa persetujuan.

Mengapa aplikasi AI deepfake ini bisa beredar?

Jaringan tersebut terdiri atas lebih dari 400 domain dan aplikasi yang saling terhubung, dan diduga dibuat oleh satu organisasi asal China. Iklan video di Facebook dan Instagram membantu aplikasi itu menjangkau pengguna, sementara tampilan awal yang tidak berbahaya membuat fungsi sebenarnya lebih sulit dikenali saat peninjauan.

Temuan ini menggarisbawahi celah dalam pemeriksaan yang hanya menangkap keadaan aplikasi pada satu waktu. Pengembang dapat mengubah situs atau konten yang dipanggil aplikasi setelah persetujuan, sehingga fitur yang kemudian muncul tidak sama dengan fungsi yang diperiksa sebelumnya.