LabRobotBench v0.1: Benchmarking wet lab robotics

Bagi peneliti, robot laboratorium yang berhenti di tengah eksperimen dapat membuat sampel menunggu dan jadwal kerja berantakan. Gamow Labs memperkenalkan LabRobotBench v0.1, tolok ukur untuk menguji apakah model AI mampu menangani gangguan, menyelesaikan alur kerja biologi, dan mengatur prioritas sebelum bahan percobaan kehilangan kelayakan.

Gamow Labs mengembangkan sistem AI untuk menafsirkan genom manusia sekaligus membangun laboratorium yang dioperasikan agen. Dalam pengumuman LabRobotBench, perusahaan itu menjelaskan bahwa evaluasi dilakukan melalui simulasi yang meniru antarmuka perintah robot fisik mereka. Simulasi ini dipakai untuk mengembangkan dan menguji agen sebelum mereka menjalankan pekerjaan di laboratorium.

Fokusnya bukan sekadar apakah agen bisa memberi instruksi kepada alat. Agen juga harus memahami posisi bahan, mengetahui tahapan yang sudah dikerjakan, memulihkan eksperimen setelah kegagalan, dan menentukan pekerjaan mana yang harus didahulukan. Satu langkah keliru dapat merusak sampel atau membuat hasil tak lagi bisa dibandingkan.

LabRobotBench menguji pemulihan eksperimen

Salah satu skenario dimulai ketika robot berhenti di tengah eksperimen yang melibatkan empat baki sel. Tiga baki masih dapat diuji, sementara satu sampel sudah rusak dan harus dipisahkan. Karena setiap baki berada pada tahap berbeda saat robot berhenti, agen perlu memeriksa pekerjaan yang sudah selesai sebelum melanjutkan.

Agen harus menuntaskan pencucian sel, menambahkan bahan kimia untuk mengukur aktivitas sel, lalu menjalankan instrumen pengukur. Hasilnya juga perlu disimpan dan setiap baki dikembalikan bersama tutupnya. Mengulang pemberian bahan kimia bukan pilihan aman: perlakuan yang sama dapat merusak sampel.

Artinya, keberhasilan tidak cukup dinilai dari apakah robot mengembalikan baki ke rak. Sampel harus menerima perlakuan yang benar dan diukur pada waktu yang sesuai. Tolok ukur ini menilai pemahaman urutan kerja, bukan gerakan robot secara terpisah.

Perbedaan itu penting dalam eksperimen biologi. Sebuah baki bisa tampak sudah dibereskan, padahal proses pengukurannya belum tuntas. Agen harus memahami status eksperimen dan kondisi fisik bahan, lalu melanjutkan dari tahap yang tepat tanpa mengulang tindakan yang berisiko.

Prioritas kerja menjadi ujian bagi agen