Ketika agen AI menulis kode, menjalankannya tanpa batas yang jelas dapat membuka risiko bagi sistem dan data. Plimsoll menawarkan sandbox mandiri yang mencatat tingkat isolasi setiap eksekusi dan menolak permintaan jika perlindungan minimum yang diminta tidak terpenuhi.
Proyek yang diperkenalkan melalui kanal Show HN ini dirancang untuk menjalankan kode yang belum dipercaya, termasuk kode buatan agen AI. Setiap hasil mencantumkan tingkat perlindungan yang benar-benar digunakan, sehingga pemanggil dapat memeriksa batas keamanan sebelum menerima hasil.
Plimsoll mencatat tingkat isolasi di setiap hasil
Plimsoll membedakan isolasi dalam empat tingkat, dari yang paling lemah hingga paling kuat: proses, container, kernel, dan mesin virtual. Tingkat itu menjadi nilai pada setiap hasil eksekusi, bukan sekadar klaim dalam dokumen spesifikasi.
Peminta juga dapat menentukan batas minimum. Jika penyedia sandbox tidak mampu memenuhi tingkat tersebut, daemon menolak permintaan sebelum menjalankan kode. Klien resmi Go memeriksa kembali tingkat isolasi ketika hasil diterima.
Penolakan seperti ini penting dalam penggunaan otomatis. Jika permintaan ditolak sebelum kode berjalan, sistem pemanggil dapat membedakannya dari kegagalan yang terjadi setelah eksekusi dimulai. Plimsoll menandai penolakan yang tidak menjalankan kode dan menyertakan alasannya, seperti masalah izin, protokol, isolasi, lingkungan, atau kapasitas.
Salah satu error yang disebut proyek ini adalah ErrInsufficientIsolation. Artinya, tingkat minimum yang diminta tidak tersedia dan kode tidak dijalankan. Namun, error yang tidak memiliki penanda “tidak dijalankan” bisa muncul setelah kode mulai berjalan, sehingga sistem tidak aman untuk langsung mengulang permintaan secara otomatis.
Sandbox kode AI juga dapat menguji hasil kerja agen
Fungsi Plimsoll tidak berhenti pada mengurung kode. Proyek ini juga menyediakan runner uji yang menjalankan program buatan agen terhadap skenario yang tidak dapat dibaca program tersebut. Setiap skenario diberikan kepada runner melalui sebuah file yang dihapus sebelum program mulai berjalan.
Untuk memperlihatkan cara kerja itu, pembuat Plimsoll memakai contoh pengendali cart-pole. Sistem simulasi ini menggambarkan sebuah kereta di rel dengan tiang berengsel di atasnya. Pengendali membaca keadaan sistem pada setiap langkah simulasi, lalu memutuskan dorongan ke kiri atau kanan agar tiang tetap tegak.
Simulasinya dikompilasi ke WebAssembly dan dimasukkan ke dalam image sandbox. Pemanggil hanya mengirimkan berkas pengendali melalui API proyek biasa; contoh tersebut berjalan pada tingkat container.
Runner merekam lintasan, termasuk keadaan sistem pada setiap langkah, lalu membuat sidik jari SHA-256. Dua eksekusi pengendali yang diterima menghasilkan sidik jari sama. Draf pertama agen memiliki dua pengali dengan tanda yang keliru, membuat tiang jatuh pada detik ke-5,96 dan menghasilkan sidik jari berbeda.
Perbedaannya terlihat.
Setiap eksekusi juga menghasilkan hash SHA-256 atas permintaan yang dikirim dan hasil yang diterima. Klien resmi menghitung ulang hash tersebut. Program terpisah bernama plimsoll-attest dapat menandatangani hasil yang sudah diperiksa, menolak rangkaian panggilan yang kehilangan satu bagian, serta memutar ulang sebuah eksekusi.
Bukti eksekusi punya batas yang perlu dipahami
Plimsoll menyebut tingkat isolasi sebagai bukti yang dikumpulkan daemon dari konfigurasi dan pemeriksaan saat mulai bekerja. Namun, proyek ini tidak mengklaim bahwa bukti itu merupakan pengesahan kriptografis dari perangkat keras mengenai perangkat lunak yang sedang berjalan.
Batas klaim ini relevan bagi tim yang ingin memakai hasil eksekusi sebagai jejak audit. Hash dan rekaman membantu memeriksa apakah permintaan serta hasil berubah, sementara tingkat isolasi memberi informasi tentang perlindungan yang dilaporkan daemon. Keduanya tidak membuktikan secara independen bahwa lingkungan eksekusi benar-benar sesuai dengan klaim perangkat keras.
Dalam contoh yang disediakan, satu eksekusi menjalankan sandbox tiga kali: pengendali yang diterima sebanyak dua kali dan draf yang gagal sekali. Pengguna dapat mengulang contoh melalui perintah make docker-images && go run ./examples/oracle. Laporan langsungnya juga dapat digunakan untuk memutar ulang dua eksekusi di peramban.
Akses API tanpa menyerahkan kredensial ke kode
Plimsoll juga menyediakan mekanisme agar kode buatan agen dapat memanggil API tanpa menerima kredensial, alamat API, atau akses jaringan terbuka. Pemilik sistem memberi izin untuk rute tertentu pada satu API, lalu kode memanggil layanan melalui klien kecil yang tersedia di sandbox.
Broker Plimsoll, komponen di luar sandbox yang membuat panggilan sebenarnya, memeriksa pemanggil dan rute yang diminta sebelum menambahkan kredensial. Kredensial dibuat untuk setiap eksekusi dan tidak masuk ke sandbox. Karena broker yang menegakkan aturan, kode tidak dapat melewati pembatasan hanya dengan membuat panggilan jaringan sendiri.
Pendekatan itu dapat membantu tim yang ingin memberi agen akses terbatas ke layanan internal tanpa membagikan rahasia akses langsung kepada kode yang dijalankan. Pengaturan izin tetap harus mengikuti rute yang memang diperlukan; Plimsoll menyediakan batas teknis, bukan menentukan sendiri API mana yang seharusnya boleh diakses.
Proyek ini turut menyediakan integrasi untuk sejumlah kerangka kerja agen. Add-on TypeScript, misalnya, menambahkan alat executeCode untuk agen percakapan di Trigger.dev. Pada daemon dengan sesi, beberapa panggilan dapat memakai interpreter yang sama: variabel dan berkas bisa bertahan dari satu sel kode ke sel berikutnya.
Hasil setiap panggilan menyatakan apakah data dapat bertahan, apakah eksekusi dimulai dari lingkungan baru, tingkat isolasi yang digunakan, dan hash rekaman. Pemanggil tetap dapat menetapkan tingkat minimum, sehingga penyedia yang lebih lemah akan menolak kode sebelum berjalan.
Contoh lain menggunakan penyedia WebAssembly tanpa daemon, Docker, kredensial, atau jaringan. Bahan sumber yang tersedia terpotong pada penjelasan mengenai contoh tersebut, sehingga rincian lanjutan tentang cara kerjanya tidak dapat dipastikan dari informasi yang diberikan.
Pembuat Plimsoll menegaskan batas utama produknya: “The exam itself (the simulated system, the scenarios, the pass mark) stays yours: plimsoll supplies the boundary and the evidence.” Artinya, pengguna tetap menentukan sistem simulasi, skenario, dan nilai kelulusan; Plimsoll menyediakan batas eksekusi serta bukti yang menyertainya.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.