JAKARTA — Lebih dari 400 aplikasi AI deepfake dengan fitur seksual dan kekerasan tersembunyi ditemukan di App Store Apple dan Google Play setelah lolos pemeriksaan aplikasi. Di balik tampilan seperti layanan les bahasa atau pelatih olahraga berbasis AI, sejumlah aplikasi dapat membuka alat untuk membuat gambar dan video eksplisit dari foto yang diunggah pengguna.
Temuan ini memperlihatkan bagaimana aplikasi yang tampak biasa dapat berubah fungsi setelah dipasang. Apple kemudian menghapus 19 aplikasi setelah menerima informasi mengenai jaringan tersebut.
Bagaimana aplikasi AI deepfake menyamarkan fiturnya?
Aplikasi dalam jaringan itu menggunakan taktik umpan-dan-alih: saat diperiksa, aplikasi menampilkan fungsi yang tampak wajar, tetapi fitur berbahaya dapat muncul dalam kondisi tertentu. Pemeriksaan dari server atau akses setelah pengguna mengetuk iklan di platform Meta disebut dapat memicu tampilan antarmuka tersembunyi.
Salah satu contoh yang disebut dalam temuan adalah Viefur. Aplikasi itu tampak dirancang untuk mengubah foto hewan peliharaan, termasuk dengan memberi mereka pakaian, tetapi jaringan yang sama juga memuat aplikasi yang mengaku menawarkan les bahasa atau pelatihan olahraga berbasis AI.
Setelah fitur tersembunyi aktif, pengguna dapat mengunggah foto dan memilih templat untuk menghasilkan gambar atau video seksual eksplisit. Beberapa skenario yang tersedia menggambarkan kekerasan seksual dan ancaman dengan pisau. Konten seperti ini berisiko dipakai untuk mempermalukan, mengintimidasi, atau mengancam orang yang fotonya digunakan tanpa persetujuan.
Mengapa aplikasi AI deepfake ini bisa beredar?
Jaringan tersebut terdiri atas lebih dari 400 domain dan aplikasi yang saling terhubung, dan diduga dibuat oleh satu organisasi asal China. Iklan video di Facebook dan Instagram membantu aplikasi itu menjangkau pengguna, sementara tampilan awal yang tidak berbahaya membuat fungsi sebenarnya lebih sulit dikenali saat peninjauan.
Temuan ini menggarisbawahi celah dalam pemeriksaan yang hanya menangkap keadaan aplikasi pada satu waktu. Pengembang dapat mengubah situs atau konten yang dipanggil aplikasi setelah persetujuan, sehingga fitur yang kemudian muncul tidak sama dengan fungsi yang diperiksa sebelumnya.
Dampaknya tidak berhenti pada toko aplikasi. Foto pribadi yang diunggah untuk satu tujuan dapat diolah menjadi materi intim palsu atau konten ancaman. Korban dapat menghadapi tekanan dan kerugian reputasi meski gambar atau video itu direkayasa.
Karena itu, perubahan fungsi setelah aplikasi dipasang menjadi risiko nyata bagi siapa pun yang mengunggah foto ke layanan AI tanpa mengetahui bagaimana gambar tersebut akan digunakan.
Apa langkah Apple, Google, dan Meta?
Apple menyatakan telah meninjau aplikasi sebelum menerbitkannya dan menemukan aplikasi itu mematuhi aturan pada saat pemeriksaan. Menurut perusahaan, pengembang kemudian mengubah situs yang memasok konten, mengganti materi yang sebelumnya disetujui dengan konten pornografi, lalu mempromosikannya melalui iklan pornografi di platform pihak ketiga.
Apple mengatakan perlindungannya terhadap cara tersebut baru-baru ini diperkuat. Setelah menerima rincian tentang jaringan itu, perusahaan menghapus 19 aplikasi. Google Play juga disebut sebagai tempat aplikasi-aplikasi tersebut tersedia.
Meta menyatakan telah menindak lebih dari 10.000 akun iklan yang terkait dengan domain-domain yang berhubungan dengan aplikasi itu. Tindakan tersebut menyasar promosi, sementara temuan tentang aplikasi menunjukkan masalah lain: fungsi dapat berubah setelah lolos peninjauan.
Kasus ini menempatkan tanggung jawab pemeriksaan pada lebih dari satu tahap, mulai dari penilaian sebelum aplikasi terbit hingga pemantauan perubahan konten dan iklan. Apple menyatakan, “We review every app before it’s published, and these apps complied with our rules when we reviewed them.”
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.