Galahad Corbenic menawarkan cara agar server AI tidak mengulang pekerjaan yang sama setelah memori GPU terhapus atau proses dimulai ulang. Namun, klaim percepatan hingga 14 kali bukan semata hasil menyimpan memori di SSD: pengujian perusahaan juga memakai komponen yang memangkas teks yang harus dibaca model.
Startup asal Belgia, Corbenic AI, merilis Galahad dalam versi beta pada 1 Oktober 2026. Perangkat lunak ini menyimpan keadaan pemrosesan model AI ke penyimpanan NVMe lokal, lalu memuatnya kembali ketika byte teks, model, dan tenant yang sama muncul lagi. Rincian dan hasil pengujian dilaporkan TechRadar Pro berdasarkan makalah Corbenic.
Pendekatan itu menyasar pekerjaan berulang saat model menjawab pertanyaan berdasarkan dokumen panjang. Bagi pengelola server, manfaat yang dijanjikan adalah mengurangi komputasi ulang tanpa membeli perangkat penyimpanan khusus. Tapi angka kinerjanya perlu dibaca bersama batas dan rancangan pengujiannya.
Galahad Corbenic menyimpan cache AI di SSD
Ketika model membaca prompt, ia membangun key-value cache atau KV cache—keadaan perhatian yang membantu pemrosesan teks berikutnya. Sistem penyajian model seperti vLLM dan SGLang sudah dapat memakai ulang keadaan itu selama masih tersimpan di memori GPU. Masalah muncul ketika kapasitas memori tertekan atau proses server dimulai ulang: cache yang tersimpan di GPU dapat hilang.
Galahad memakai komponen bernama Taliesin untuk menyimpan keadaan tersebut ke disk. Setiap blok teks dipasangkan dengan sidik jari yang mencakup byte masukan yang persis sama, model, serta tenant. Saat masukan cocok, sistem memuat kembali cache tersimpan, bukan menghitungnya dari awal.
“Jadi pilihannya bukan SSD atau RAM. Pilihannya adalah SSD atau menghitung semuanya lagi di GPU,” kata pendiri sekaligus CEO Corbenic, Sietse Schelpe, kepada TechRadar Pro. Ia menjelaskan pemuatan berlangsung sebelum model mulai menghasilkan jawaban.
Strategi ini tidak menggantikan RAM atau memori GPU. Cache di SSD baru berguna setelah salinan di GPU terhapus atau server dimulai ulang. Menurut Schelpe, Galahad hanya memerlukan Linux, GPU Nvidia, dan SSD NVMe standar yang sudah terpasang di server.
Klaim 14 kali juga bergantung pada teks yang lebih pendek
Angka yang paling menonjol berasal dari pengujian tanya-jawab dengan 100 fakta tersembunyi di dalam daftar sepanjang 96.726 token. Uji itu menggunakan Gemma 4 31B dan kombinasi Taliesin dengan Blaise, komponen lain yang menyimpan dokumen sebagai teks lalu memilih bagian yang dibutuhkan untuk menjawab pertanyaan.
Dengan Blaise, model menerima sekitar 668 token, bukan seluruh kumpulan dokumen. Artinya, penghematan waktu bukan hanya soal cache yang dimuat dari SSD. Model juga membaca jauh lebih sedikit teks. Makalah Corbenic sendiri mengaitkan Blaise dengan kenaikan hasil pada llama.cpp dari 3,1 kali menjadi 14,5 kali.
Schelpe menyebut hasil 0,59 detik per pertanyaan pada vLLM sebagai asal klaim 14 kali. Namun, pengujian Taliesin saja memberi gambaran yang lebih campur aduk. vLLM mencatat 15,56 detik per pertanyaan, dibandingkan hasil dasar 8,11 detik; SGLang mencatat 22,02 detik, sedangkan hasil dasarnya 10,29 detik. Pada llama.cpp, pemakaian ulang cache membuat waktu turun menjadi 3,01 detik dari 9,25 detik.
Perbandingan itu juga memiliki batas. Pengujian dasar memakai jendela 12.000 token sehingga hanya mencakup 12 persen bagian akhir dokumen dan menjawab 10 dari 100 pertanyaan. Taliesin memberi model akses ke seluruh materi dan menghasilkan 98 jawaban benar dari 100 pertanyaan. Jadi, jumlah jawaban yang dapat ditemukan tidak setara antara kedua pengujian.
Penggunaan SSD lokal dan batas yang diakui Corbenic
Corbenic menyatakan teks pendek tidak disimpan karena menghitung ulang lebih cepat. Penyimpanan jaringan juga dinilai terlalu lambat dibandingkan NVMe lokal. Perusahaan menerapkan aturan gagal tertutup: bila sebuah catatan gagal melewati pemeriksaan, sistem tidak memakainya dan menghitung ulang dari awal.
Aturan itu penting untuk menjaga ketepatan. Cache yang keliru berisiko membuat model memakai keadaan pemrosesan yang tidak sesuai dengan masukan. Dalam rancangan Corbenic, sistem lebih memilih kehilangan waktu untuk menghitung ulang daripada menyajikan jawaban berdasarkan catatan yang gagal diverifikasi.
Schelpe mengatakan perusahaannya pernah menguji penyimpanan yang lebih cepat, tetapi tidak menemukan Galahad menjadi lebih kencang. Pengujian H100 dalam makalah juga menunjukkan hasil throughput yang nyaris sama antara disk lokal dan RAM disk. Ia belum mengukur kinerja drive enterprise Pascari dari Phison, sehingga tidak memberikan angka untuk produk itu.
Bagi operator pusat data, implikasinya cukup praktis: SSD yang sudah ada berpotensi membantu mempertahankan pekerjaan model setelah cache GPU hilang, tetapi hasilnya bergantung pada jenis beban kerja dan apakah teks yang diproses berulang kali. Galahad juga bukan jalan pintas universal untuk mempercepat semua permintaan AI, terutama teks pendek atau penyimpanan jarak jauh.
Persaingan cache AI sudah ramai
Corbenic memosisikan Galahad sebagai alternatif bagi sistem retrieval-augmented generation atau RAG. Sistem RAG mencari potongan dokumen yang dianggap relevan untuk diberikan kepada model. Schelpe mengatakan pencarian yang luput membuat model tak pernah melihat jawabannya. Dalam sebuah pengujian yang ia kutip, Galahad menjawab 100 dari 100 pertanyaan, sedangkan RAGFlow menjawab 77.
Namun, penyimpanan cache di luar GPU bukan gagasan yang hanya muncul bersama Galahad. Proyek sumber terbuka LMCache dapat memindahkan KV cache ke memori CPU, SSD lokal, maupun penyimpanan jarak jauh. Sembilan hari sebelum Galahad masuk beta, insinyur Samsung memaparkan tingkatan NVMe yang bisa memulihkan cache setelah proses dimulai ulang.
Nvidia juga menawarkan kerangka Dynamo yang menempatkan KV cache secara bertingkat, dari memori GPU ke DRAM host, lalu SSD NVMe lokal dan penyimpanan jaringan. Perusahaan itu memperkenalkan platform memori konteks BlueField-4 di CES 2026, yang kemudian disebut CMX.
WEKA, Huawei, dan Phison pun memiliki penawaran atau pendekatan terkait pemanfaatan penyimpanan untuk mengurangi penghitungan ulang AI.
Perbedaan Galahad yang paling nyata, berdasarkan bahan yang tersedia, terletak pada kombinasi penyimpanan cache persis menurut masukan dengan komponen Blaise yang mempersempit teks untuk model.
Karena itu, angka percepatan 14 kali lebih tepat dibaca sebagai hasil dari keseluruhan pendekatan pada pengujian tertentu, bukan jaminan bahwa memindahkan cache ke SSD saja akan memberi hasil serupa.
Corbenic belum memaparkan seluruh rincian yang diperlukan untuk menilai pembeda teknisnya terhadap semua pesaing.
Galahad masih berada pada tahap beta. Pengujian yang lebih luas pada beban kerja dan konfigurasi server berbeda akan menentukan apakah penghematan itu bertahan di penggunaan nyata—dan seberapa besar kontribusi Taliesin dibandingkan Blaise.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.