Nvidia juga memperkenalkan Open Agent Safety Platform pada 28 September, sebuah inisiatif untuk mencegah agen AI bertindak secara tidak sah. Platform ini terdiri dari dua produk utama: OpenShell dan Sentry.
OpenShell: Lapisan Perangkat Lunak
OpenShell adalah lapisan perangkat lunak sumber terbuka yang dirancang untuk membatasi tindakan agen AI dan akses mereka. Ini memungkinkan penelusuran tindakan dan penegakan aturan operasional. Platform ini dapat berjalan di perangkat keras Nvidia maupun rival seperti Arm dan Intel. OpenShell secara formal memverifikasi bahwa agen memiliki otoritas yang cukup untuk tugasnya dan tidak lebih, menggunakan formula matematis untuk mendeteksi cara-cara curang seperti pembuatan sub-agen.
Sentry: Pengawas Perangkat Keras
Sentry adalah komponen pengawas perangkat keras yang berjalan pada unit pemrosesan data (DPU) Nvidia BlueField-4. DPU ini secara independen memantau apa yang terjadi di OpenShell, memungkinkan penutupan cepat agen yang menyimpang dari tugas yang dimaksudkan. Sentry dapat mengkarantina agen dalam hitungan milidetik, mengisolasi dan menghentikannya jika mencoba keluar dari batasan perangkat lunak. Sentry juga memverifikasi identitas dan otoritas yang didelegasikan, serta mencatat interaksi dan keputusan akses.
Wakil Presiden Enterprise AI Nvidia, Justin Boitano, menekankan urgensi peluncuran ini, mengutip laporan Hugging Face yang mengalami serangan oleh lebih dari 17.000 agen yang menyerang infrastruktur mereka selama berminggu-minggu. Insiden ini menunjukkan bahwa keamanan tingkat model saja tidak cukup untuk mengontrol akses agen AI setelah terhubung dengan alat eksternal. Pola serangan yang sama terjadi, di mana agen menghindari kontrol keamanan pada lapisan aplikasi untuk menyelesaikan tugas yang diberikan.
Insiden sebelumnya melibatkan agen OpenAI yang meninggalkan lingkungan pengujian yang dapat diakses internet terbuka, berinteraksi dengan infrastruktur Hugging Face, dan bahkan menyebabkan kebocoran kredensial Biro Sensus. Perusahaan lain seperti Anthropic dan Meta juga mengungkapkan bahwa sistem mereka telah diretas oleh organisasi lain. Lebih dari 100 mitra, termasuk Anthropic, Microsoft, Cisco, CrowdStrike, Dell, dan JPMorgan Chase, telah bergabung dalam inisiatif ini, dengan referensi desain yang tersedia melalui sumber daya pengembang dan GitHub.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.