LabRobotBench v0.1: Benchmarking wet lab robotics

Bagi peneliti, robot laboratorium yang berhenti di tengah eksperimen dapat membuat sampel menunggu dan jadwal kerja berantakan. Gamow Labs memperkenalkan LabRobotBench v0.1, tolok ukur untuk menguji apakah model AI mampu menangani gangguan, menyelesaikan alur kerja biologi, dan mengatur prioritas sebelum bahan percobaan kehilangan kelayakan.

Gamow Labs mengembangkan sistem AI untuk menafsirkan genom manusia sekaligus membangun laboratorium yang dioperasikan agen. Dalam pengumuman LabRobotBench, perusahaan itu menjelaskan bahwa evaluasi dilakukan melalui simulasi yang meniru antarmuka perintah robot fisik mereka. Simulasi ini dipakai untuk mengembangkan dan menguji agen sebelum mereka menjalankan pekerjaan di laboratorium.

Fokusnya bukan sekadar apakah agen bisa memberi instruksi kepada alat. Agen juga harus memahami posisi bahan, mengetahui tahapan yang sudah dikerjakan, memulihkan eksperimen setelah kegagalan, dan menentukan pekerjaan mana yang harus didahulukan. Satu langkah keliru dapat merusak sampel atau membuat hasil tak lagi bisa dibandingkan.

LabRobotBench menguji pemulihan eksperimen

Salah satu skenario dimulai ketika robot berhenti di tengah eksperimen yang melibatkan empat baki sel. Tiga baki masih dapat diuji, sementara satu sampel sudah rusak dan harus dipisahkan. Karena setiap baki berada pada tahap berbeda saat robot berhenti, agen perlu memeriksa pekerjaan yang sudah selesai sebelum melanjutkan.

Agen harus menuntaskan pencucian sel, menambahkan bahan kimia untuk mengukur aktivitas sel, lalu menjalankan instrumen pengukur. Hasilnya juga perlu disimpan dan setiap baki dikembalikan bersama tutupnya. Mengulang pemberian bahan kimia bukan pilihan aman: perlakuan yang sama dapat merusak sampel.

Artinya, keberhasilan tidak cukup dinilai dari apakah robot mengembalikan baki ke rak. Sampel harus menerima perlakuan yang benar dan diukur pada waktu yang sesuai. Tolok ukur ini menilai pemahaman urutan kerja, bukan gerakan robot secara terpisah.

Perbedaan itu penting dalam eksperimen biologi. Sebuah baki bisa tampak sudah dibereskan, padahal proses pengukurannya belum tuntas. Agen harus memahami status eksperimen dan kondisi fisik bahan, lalu melanjutkan dari tahap yang tepat tanpa mengulang tindakan yang berisiko.

Prioritas kerja menjadi ujian bagi agen

Skenario lain menguji bagaimana agen membagi perhatian ketika beberapa pekerjaan sama-sama mendesak. Agen diminta menuntaskan dua eksperimen, memisahkan satu sampel rusak, mengembalikan dua baki persediaan ke penyimpanan dingin, dan membiarkan satu sampel pembanding tetap tidak tersentuh.

Tekanan waktunya konkret. Penambahan bahan kimia pada salah satu eksperimen harus selesai dalam 200 detik, sementara persediaan dingin tidak boleh berada di luar penyimpanan lebih dari 240 detik. Karena semua baki dipindahkan oleh robot yang sama, agen perlu memilih urutan pekerjaan, bukan sekadar menjalankan daftar tugas secara berurutan.

Hasil yang dilaporkan memperlihatkan pertukaran prioritas tersebut. GPT berhasil mengembalikan kedua baki persediaan dingin tepat waktu, tetapi gagal menuntaskan satu eksperimen. Opus menyelesaikan kedua eksperimen, tetapi membiarkan kedua baki persediaan terlalu lama berada di luar penyimpanan.

Tak ada urutan yang bisa dianggap berhasil jika satu kebutuhan dipenuhi dengan mengorbankan bahan lain. Dalam laboratorium, tindakan menyelamatkan satu sampel dapat membuat sampel berbeda melewati batas waktu. Agen perlu melacak tenggat sekaligus menilai konsekuensi dari setiap penundaan.

Pengukuran sel bergantung pada waktu

LabRobotBench juga menguji eksperimen respons sel terhadap dosis bahan kimia yang berbeda. Agen harus menyelesaikan pengujian pada dua baki dan memisahkan satu baki yang sudah rusak. Salah satu sampel mendekati batas waktu pengukuran.

Setelah sel diberi bahan kimia uji, agen memiliki 30 menit untuk menyelesaikan pengukuran respons. Ia perlu memastikan langkah yang sudah dilakukan, menuntaskan persiapan sampel, lalu menyediakan waktu bagi instrumen untuk bekerja. Jika agen hanya fokus menyelesaikan setiap gerakan tanpa memperhitungkan tenggat, hasil pengukuran dapat terlambat.

Waktu menjadi bagian dari mutu eksperimen, bukan sekadar urusan penjadwalan. Respons sampel dapat berubah setelah perlakuan, sehingga pengukuran pada waktu yang ditentukan membantu peneliti membandingkan hasil antar-sampel. Agen harus mengoperasikan peralatan sekaligus menjaga agar rangkaian percobaan tetap berada dalam batas waktunya.

Bagi ilmuwan, kemampuan pemulihan seperti ini dapat menentukan apakah robot tetap berguna saat muncul gangguan di luar rencana.

Jika agen mampu mendiagnosis masalah dan melanjutkan pekerjaan dengan aman, eksperimen berpotensi berjalan semalaman, waktu henti dapat berkurang, dan peneliti dapat menjalankan lebih banyak percobaan. Itu tujuan yang disebut Gamow Labs, bukan hasil yang sudah dibuktikan oleh skenario benchmark.

Perusahaan itu menyatakan sedang mengembangkan agen untuk mengoperasikan laboratorium robotik dan membantu meneliti bagaimana perubahan genetik berhubungan dengan penyakit langka.

Pengumumannya juga mengajak pengembang model AI, pembuat otomasi laboratorium, serta pihak yang ingin memperluas kemampuan eksperimen untuk bekerja sama.

Tahap berikutnya bergantung pada pengembangan agen yang dapat menghadapi batas waktu, sampel yang berbeda kondisinya, dan kegagalan alat tanpa kehilangan jejak alur kerja.