Plimsoll: Sandbox Kode AI dengan Tingkat Isolasi Terukur

Ketika agen AI menulis kode, menjalankannya tanpa batas yang jelas dapat membuka risiko bagi sistem dan data. Plimsoll menawarkan sandbox mandiri yang mencatat tingkat isolasi setiap eksekusi dan menolak permintaan jika perlindungan minimum yang diminta tidak terpenuhi.

Proyek yang diperkenalkan melalui kanal Show HN ini dirancang untuk menjalankan kode yang belum dipercaya, termasuk kode buatan agen AI. Setiap hasil mencantumkan tingkat perlindungan yang benar-benar digunakan, sehingga pemanggil dapat memeriksa batas keamanan sebelum menerima hasil.

Plimsoll mencatat tingkat isolasi di setiap hasil

Plimsoll membedakan isolasi dalam empat tingkat, dari yang paling lemah hingga paling kuat: proses, container, kernel, dan mesin virtual. Tingkat itu menjadi nilai pada setiap hasil eksekusi, bukan sekadar klaim dalam dokumen spesifikasi.

Peminta juga dapat menentukan batas minimum. Jika penyedia sandbox tidak mampu memenuhi tingkat tersebut, daemon menolak permintaan sebelum menjalankan kode. Klien resmi Go memeriksa kembali tingkat isolasi ketika hasil diterima.

Penolakan seperti ini penting dalam penggunaan otomatis. Jika permintaan ditolak sebelum kode berjalan, sistem pemanggil dapat membedakannya dari kegagalan yang terjadi setelah eksekusi dimulai. Plimsoll menandai penolakan yang tidak menjalankan kode dan menyertakan alasannya, seperti masalah izin, protokol, isolasi, lingkungan, atau kapasitas.

Salah satu error yang disebut proyek ini adalah ErrInsufficientIsolation. Artinya, tingkat minimum yang diminta tidak tersedia dan kode tidak dijalankan. Namun, error yang tidak memiliki penanda “tidak dijalankan” bisa muncul setelah kode mulai berjalan, sehingga sistem tidak aman untuk langsung mengulang permintaan secara otomatis.

Sandbox kode AI juga dapat menguji hasil kerja agen

Fungsi Plimsoll tidak berhenti pada mengurung kode. Proyek ini juga menyediakan runner uji yang menjalankan program buatan agen terhadap skenario yang tidak dapat dibaca program tersebut. Setiap skenario diberikan kepada runner melalui sebuah file yang dihapus sebelum program mulai berjalan.

Untuk memperlihatkan cara kerja itu, pembuat Plimsoll memakai contoh pengendali cart-pole. Sistem simulasi ini menggambarkan sebuah kereta di rel dengan tiang berengsel di atasnya. Pengendali membaca keadaan sistem pada setiap langkah simulasi, lalu memutuskan dorongan ke kiri atau kanan agar tiang tetap tegak.