JAKARTA — Tiny Corp menawarkan Tinybox Red Kimi seharga US$30.000, komputer meja yang mengandalkan 16 SSD untuk menjalankan model AI Kimi K3. Mesin ini memadukan empat kartu grafis AMD dengan penyimpanan berkapasitas besar, tetapi klaim kecepatannya belum diuji pihak di luar perusahaan.
Red Kimi dirancang untuk menjalankan Kimi K3, model dengan 2,8 triliun parameter, dari meja kerja alih-alih pusat data. Gagasan utamanya: memakai SSD yang lebih murah sebagai lapisan penyimpanan bagi model yang jauh lebih besar daripada memori grafis yang tersedia.
Tinybox Red Kimi memakai 16 SSD untuk AI
Di dalam komputer ini terdapat empat kartu AMD Radeon AI Pro R9700. Setiap kartu membawa memori grafis GDDR6 sebesar 32 GB dengan bandwidth 640 GB per detik. Jika digabung, kapasitas memori grafisnya mencapai 128 GB dengan bandwidth agregat 2.560 GB per detik.
Tiny Corp memasangkan kartu-kartu itu dengan 16 SSD NVMe berkapasitas 1 TB per unit. Susunan RAID tersebut diklaim memiliki laju transfer 238,4 GB per detik. Perusahaan juga menyebut perangkat lunak tinygrad kini memiliki driver agar GPU AMD dapat mengakses SSD NVMe secara langsung, tanpa mengarahkan setiap pembacaan data melalui prosesor.
Sistemnya memakai platform G5 dengan prosesor AMD Epyc Genoa 32 inti. Model prosesor secara spesifik tidak dicantumkan dalam konfigurator, sementara memori sistem DDR5-nya hanya 32 GB. Perbedaan kapasitas itu memperlihatkan fokus rancangan: kemampuan GPU dan jalur penyimpanan, bukan memori utama yang besar.
Seberapa cepat Red Kimi menjalankan Kimi K3?
Tiny Corp mengklaim Red Kimi mampu menjalankan Kimi K3 pada 40 token per detik. Angka itu berasal dari perusahaan dan belum diuji oleh pihak independen.
Kapasitas penyimpanan menjadi penting karena bobot model Kimi K3 dalam format MXFP4 diperkirakan sekitar 1,56 TB. Empat GPU Red Kimi hanya menyediakan 128 GB memori grafis, setara kurang dari sepersepuluh ukuran model. Sebagian besar bobot karena itu harus berada di tempat lain dan dipindahkan saat komputasi berlangsung.
Kimi K3 memakai arsitektur campuran pakar. Model itu mengaktifkan 16 dari 896 pakar yang tersedia, ditambah dua pakar bersama, sehingga jumlah parameter aktif untuk setiap token mencapai 104 miliar. Dengan format MXFP4 yang efektif memakai 4,25 bit per bobot, sistem perlu membaca setidaknya 55 GB bobot untuk menghasilkan setiap token.
Perhitungan tersebut menimbulkan pertanyaan tentang bagaimana klaim 40 token per detik dicapai. Jika seluruh data untuk setiap token dibaca dari SSD, kecepatan susunan penyimpanan itu diperkirakan hanya cukup untuk sekitar empat token per detik.
Untuk mencapai angka perusahaan, sistem perlu memindahkan sekitar 2,2 TB bobot per detik, sementara SSD diperkirakan menyumbang paling banyak sekitar 6 GB untuk setiap token.
Kecepatan tinggi bergantung pada data yang tersimpan di GPU
Artinya, klaim Tiny Corp hanya masuk akal jika memori GPU sudah menyimpan sebagian besar bobot yang dibutuhkan untuk tiap token. Pemilihan pakar yang cukup mudah diprediksi dapat membantu sistem menyimpan bobot yang kemungkinan segera dipakai. Kemungkinan lain adalah penggunaan presisi lebih rendah dari format bawaan model, speculative decoding, atau gabungan sejumlah teknik.
Tiny Corp belum mengungkap presisi, panjang konteks, ukuran batch, maupun metode yang dipakai untuk memperoleh klaim kecepatan itu. Bandwidth gabungan 2.560 GB per detik juga mengandaikan beban kerja terbagi rata pada empat kartu yang berkomunikasi melalui PCIe. Tanpa rincian tersebut, angka 40 token per detik lebih tepat diperlakukan sebagai klaim produsen, bukan hasil yang sudah terverifikasi.
Bagi industri dan pengguna yang ingin menjalankan model AI besar secara lokal, pendekatan ini menawarkan pilihan berbeda: memanfaatkan SSD sebagai lapisan tambahan alih-alih menyediakan memori mahal dalam jumlah sangat besar. Namun, kapasitas penyimpanan tidak otomatis menyamai kecepatan memori GPU.
Kinerja akhirnya bergantung pada seberapa sering sistem harus mengambil bobot dari SSD, bukan dari data yang sudah tersimpan di kartu grafis.
Gagasan mengakses SSD langsung dari GPU pernah dibahas peneliti Nvidia dan University of Illinois dalam arsitektur BaM, yang dipresentasikan di ASPLOS 2023. Red Kimi membawa konsep serupa ke kartu workstation AMD dalam produk yang dapat dipesan, menurut klaim Tiny Corp.
Harga Red Kimi dan pilihan komputer pembanding
Harga US$30.000 membuat Red Kimi jauh dari komputer meja biasa, tetapi alternatif untuk menjalankan model sebesar Kimi K3 secara lokal juga mahal. Mac Studio Apple dengan M5 Ultra dan memori terpadu 512 GB dibanderol mulai US$22.299. Konfigurasi dengan SSD 16 TB mencapai US$29.799, hanya US$201 di bawah Red Kimi.
Mac Studio menawarkan bandwidth memori 1,2 TB per detik, tetapi kapasitas 512 GB tetap tak cukup untuk menampung checkpoint bawaan Kimi K3 yang diperkirakan sekitar 1,56 TB. Sementara itu, DGX Station berbasis Nvidia GB300 dijual hampir US$91.100 dengan memori 748 GB, juga belum cukup untuk seluruh model.
AMD Threadripper Halo Station dengan memori gabungan hingga 2,6 TB diperkirakan dapat menampung model tersebut. Namun, perangkat itu baru dijadwalkan hadir pada 2027 dan perkiraan industri menempatkan harga sistem lengkap sekitar US$150.000.
Konfigurator Tiny Corp memperkirakan Red Kimi berbobot sekitar 56 pon, dengan lebar 12 inci, tinggi 19,25 inci, dan kedalaman 18 inci. Untuk konfigurasi R9700, perusahaan menaikkan peringkat kebisingan menjadi di bawah 60 dB dari di bawah 50 dB, serta memperingatkan kipas blower kartu grafis akan terdengar.
Red Kimi disebut sebagai pilihan termurah untuk mempertahankan presisi bawaan Kimi K3 dalam sistem di satu meja kerja. Namun, nilai itu tetap bergantung pada performa yang belum diuji secara independen. Tiny Corp menggambarkan perangkatnya sebagai cara menghadirkan model AI tingkat lanjut di rumah dengan kecepatan yang berguna dan harga yang baik.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.