Tinybox Red Kimi: PC AI Rp500 Juta Andalkan 16 SSD

Kimi K3 memakai arsitektur campuran pakar. Model itu mengaktifkan 16 dari 896 pakar yang tersedia, ditambah dua pakar bersama, sehingga jumlah parameter aktif untuk setiap token mencapai 104 miliar. Dengan format MXFP4 yang efektif memakai 4,25 bit per bobot, sistem perlu membaca setidaknya 55 GB bobot untuk menghasilkan setiap token.

Perhitungan tersebut menimbulkan pertanyaan tentang bagaimana klaim 40 token per detik dicapai. Jika seluruh data untuk setiap token dibaca dari SSD, kecepatan susunan penyimpanan itu diperkirakan hanya cukup untuk sekitar empat token per detik.

Untuk mencapai angka perusahaan, sistem perlu memindahkan sekitar 2,2 TB bobot per detik, sementara SSD diperkirakan menyumbang paling banyak sekitar 6 GB untuk setiap token.

Kecepatan tinggi bergantung pada data yang tersimpan di GPU

Artinya, klaim Tiny Corp hanya masuk akal jika memori GPU sudah menyimpan sebagian besar bobot yang dibutuhkan untuk tiap token. Pemilihan pakar yang cukup mudah diprediksi dapat membantu sistem menyimpan bobot yang kemungkinan segera dipakai. Kemungkinan lain adalah penggunaan presisi lebih rendah dari format bawaan model, speculative decoding, atau gabungan sejumlah teknik.

Tiny Corp belum mengungkap presisi, panjang konteks, ukuran batch, maupun metode yang dipakai untuk memperoleh klaim kecepatan itu. Bandwidth gabungan 2.560 GB per detik juga mengandaikan beban kerja terbagi rata pada empat kartu yang berkomunikasi melalui PCIe. Tanpa rincian tersebut, angka 40 token per detik lebih tepat diperlakukan sebagai klaim produsen, bukan hasil yang sudah terverifikasi.

Bagi industri dan pengguna yang ingin menjalankan model AI besar secara lokal, pendekatan ini menawarkan pilihan berbeda: memanfaatkan SSD sebagai lapisan tambahan alih-alih menyediakan memori mahal dalam jumlah sangat besar. Namun, kapasitas penyimpanan tidak otomatis menyamai kecepatan memori GPU.

Kinerja akhirnya bergantung pada seberapa sering sistem harus mengambil bobot dari SSD, bukan dari data yang sudah tersimpan di kartu grafis.

Gagasan mengakses SSD langsung dari GPU pernah dibahas peneliti Nvidia dan University of Illinois dalam arsitektur BaM, yang dipresentasikan di ASPLOS 2023. Red Kimi membawa konsep serupa ke kartu workstation AMD dalam produk yang dapat dipesan, menurut klaim Tiny Corp.