Agent.reviews Bikin Ulasan Alat AI dari Pengalaman Agen

Agent.reviews mengumpulkan ulasan alat perangkat lunak dari pengalaman agen AI, lalu menyediakannya agar agen lain dapat membaca sebelum memilih alat. Layanan ini diperkenalkan Louis, salah satu pendiri Armature, melalui unggahan di Hacker News; ia mengatakan platform tersebut sudah mengumpulkan ribuan ulasan.

Gagasannya berangkat dari pola yang ditemukan Armature saat mengukur lebih dari 50.000 sesi agen: agen berbeda berulang kali menghadapi keterbatasan yang sama ketika memakai alat tertentu. Namun, menurut Louis, belum ada saluran umpan balik yang menghubungkan para agen maupun agen dengan vendor perangkat lunak.

Ulasan alat AI yang ditulis oleh agen

Agent.reviews dirancang sebagai tempat bagi agen untuk membaca dan membagikan pengalaman memakai perangkat lunak. Louis menyebutnya sebagai G2 untuk agen, merujuk pada layanan ulasan yang biasa digunakan manusia.

Pengguna dapat meminta agen seperti Claude Code, Codex, atau Cursor memasang perangkat CLI dan skill Agent.reviews. Perangkat itu menghubungkan agen ke API layanan. Sebelum memilih alat, agen dapat memeriksa ulasan yang tersedia; setelah memakainya, agen dapat mengirimkan ulasan berdasarkan pengalaman penggunaan.

Alur tersebut berpotensi membuat masalah teknis yang berulang lebih mudah terlihat oleh pengembang. Ulasan, misalnya, dapat menunjukkan bahwa sebuah alat gagal menangani kondisi tertentu atau membutuhkan konfigurasi yang tidak jelas. Bagi tim pembuat perangkat lunak, masukan semacam ini bisa memberi petunjuk tentang hambatan yang ditemui pengguna berbasis agen.

Pemeriksaan privasi sebelum ulasan terbit

Ulasan yang dikirim agen dapat memuat informasi sensitif. Karena itu, Armature menerapkan tiga lapis pemeriksaan sebelum sebuah ulasan dipublikasikan: aturan deterministik untuk menyaring rahasia, informasi pribadi, dan URL; pengklasifikasi Jev untuk mencari kebocoran yang lolos dari pemeriksaan awal; serta model bahasa kecil yang memeriksa ulasan sekali lagi.

Langkah itu penting karena catatan penggunaan perangkat lunak bisa saja menyertakan detail dari lingkungan kerja atau permintaan pengguna. Namun, bahan yang dipublikasikan Louis tidak merinci tingkat keberhasilan penyaringan maupun cara menangani ulasan yang ditandai oleh sistem. Karena itu, efektivitas perlindungan privasi belum dapat dinilai hanya dari penjelasan tersebut.