Galahad Corbenic: SSD Server Jadi Memori AI, Klaim 14 Kali

Klaim 14 kali juga bergantung pada teks yang lebih pendek

Angka yang paling menonjol berasal dari pengujian tanya-jawab dengan 100 fakta tersembunyi di dalam daftar sepanjang 96.726 token. Uji itu menggunakan Gemma 4 31B dan kombinasi Taliesin dengan Blaise, komponen lain yang menyimpan dokumen sebagai teks lalu memilih bagian yang dibutuhkan untuk menjawab pertanyaan.

Dengan Blaise, model menerima sekitar 668 token, bukan seluruh kumpulan dokumen. Artinya, penghematan waktu bukan hanya soal cache yang dimuat dari SSD. Model juga membaca jauh lebih sedikit teks. Makalah Corbenic sendiri mengaitkan Blaise dengan kenaikan hasil pada llama.cpp dari 3,1 kali menjadi 14,5 kali.

Schelpe menyebut hasil 0,59 detik per pertanyaan pada vLLM sebagai asal klaim 14 kali. Namun, pengujian Taliesin saja memberi gambaran yang lebih campur aduk. vLLM mencatat 15,56 detik per pertanyaan, dibandingkan hasil dasar 8,11 detik; SGLang mencatat 22,02 detik, sedangkan hasil dasarnya 10,29 detik. Pada llama.cpp, pemakaian ulang cache membuat waktu turun menjadi 3,01 detik dari 9,25 detik.

Perbandingan itu juga memiliki batas. Pengujian dasar memakai jendela 12.000 token sehingga hanya mencakup 12 persen bagian akhir dokumen dan menjawab 10 dari 100 pertanyaan. Taliesin memberi model akses ke seluruh materi dan menghasilkan 98 jawaban benar dari 100 pertanyaan. Jadi, jumlah jawaban yang dapat ditemukan tidak setara antara kedua pengujian.

Penggunaan SSD lokal dan batas yang diakui Corbenic

Corbenic menyatakan teks pendek tidak disimpan karena menghitung ulang lebih cepat. Penyimpanan jaringan juga dinilai terlalu lambat dibandingkan NVMe lokal. Perusahaan menerapkan aturan gagal tertutup: bila sebuah catatan gagal melewati pemeriksaan, sistem tidak memakainya dan menghitung ulang dari awal.

Aturan itu penting untuk menjaga ketepatan. Cache yang keliru berisiko membuat model memakai keadaan pemrosesan yang tidak sesuai dengan masukan. Dalam rancangan Corbenic, sistem lebih memilih kehilangan waktu untuk menghitung ulang daripada menyajikan jawaban berdasarkan catatan yang gagal diverifikasi.

Schelpe mengatakan perusahaannya pernah menguji penyimpanan yang lebih cepat, tetapi tidak menemukan Galahad menjadi lebih kencang. Pengujian H100 dalam makalah juga menunjukkan hasil throughput yang nyaris sama antara disk lokal dan RAM disk. Ia belum mengukur kinerja drive enterprise Pascari dari Phison, sehingga tidak memberikan angka untuk produk itu.