JAKARTA — Tiny Corp menawarkan Tinybox Red Kimi seharga US$30.000, komputer meja yang mengandalkan 16 SSD untuk menjalankan model AI Kimi K3. Mesin ini memadukan empat kartu grafis AMD dengan penyimpanan berkapasitas besar, tetapi klaim kecepatannya belum diuji pihak di luar perusahaan.
Red Kimi dirancang untuk menjalankan Kimi K3, model dengan 2,8 triliun parameter, dari meja kerja alih-alih pusat data. Gagasan utamanya: memakai SSD yang lebih murah sebagai lapisan penyimpanan bagi model yang jauh lebih besar daripada memori grafis yang tersedia.
Tinybox Red Kimi memakai 16 SSD untuk AI
Di dalam komputer ini terdapat empat kartu AMD Radeon AI Pro R9700. Setiap kartu membawa memori grafis GDDR6 sebesar 32 GB dengan bandwidth 640 GB per detik. Jika digabung, kapasitas memori grafisnya mencapai 128 GB dengan bandwidth agregat 2.560 GB per detik.
Tiny Corp memasangkan kartu-kartu itu dengan 16 SSD NVMe berkapasitas 1 TB per unit. Susunan RAID tersebut diklaim memiliki laju transfer 238,4 GB per detik. Perusahaan juga menyebut perangkat lunak tinygrad kini memiliki driver agar GPU AMD dapat mengakses SSD NVMe secara langsung, tanpa mengarahkan setiap pembacaan data melalui prosesor.
Sistemnya memakai platform G5 dengan prosesor AMD Epyc Genoa 32 inti. Model prosesor secara spesifik tidak dicantumkan dalam konfigurator, sementara memori sistem DDR5-nya hanya 32 GB. Perbedaan kapasitas itu memperlihatkan fokus rancangan: kemampuan GPU dan jalur penyimpanan, bukan memori utama yang besar.
Seberapa cepat Red Kimi menjalankan Kimi K3?
Tiny Corp mengklaim Red Kimi mampu menjalankan Kimi K3 pada 40 token per detik. Angka itu berasal dari perusahaan dan belum diuji oleh pihak independen.
Kapasitas penyimpanan menjadi penting karena bobot model Kimi K3 dalam format MXFP4 diperkirakan sekitar 1,56 TB. Empat GPU Red Kimi hanya menyediakan 128 GB memori grafis, setara kurang dari sepersepuluh ukuran model. Sebagian besar bobot karena itu harus berada di tempat lain dan dipindahkan saat komputasi berlangsung.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.