Maia 300 Microsoft Tantang Nvidia Lewat Bandwidth Memori

Maia 300 Microsoft menargetkan pekerjaan AI yang paling sering dijalankan: inferensi. Bagi perusahaan yang mengoperasikan layanan AI dalam skala besar, akselerator rancangan sendiri berpotensi menekan biaya dan mengurangi ketergantungan pada Nvidia—meski belum tentu menggoyang dominasi pemasok chip itu dalam waktu dekat.

Microsoft mengumumkan rencana memperluas penggunaan akselerator Azure Maia hingga skala multi-gigawatt mulai 2027. Scott Guthrie, wakil presiden eksekutif Cloud + AI Microsoft, mengatakan Maia akan menjadi sistem inferensi utama bagi produk dan layanan perusahaan. Rencana tersebut bertumpu pada Maia 300, chip baru yang mengutamakan peningkatan bandwidth memori.

Maia 300 mengejar hambatan di inferensi AI

Dalam paparan arsitektur, Rani Borkar, presiden Azure Hardware Systems and Infrastructure, bersama Saurabh Dighe, wakil presiden korporat bidang perencanaan sistem dan arsitektur, menjelaskan perubahan rancangan Maia 300.

Berbeda dari Maia 200 yang memakai satu die, Maia 300 menggunakan paket multi-chiplet: komputasi berada pada proses N2P TSMC, sedangkan pengendali memori dan fungsi I/O ditempatkan pada die terpisah.

Delapan tumpukan HBM4 menyediakan kapasitas 288GB dengan bandwidth 18TB/s untuk setiap akselerator. Sebagai pembanding, Maia 200 memiliki memori 216GB dan bandwidth 7.1TB/s, menurut uraian StorageReview yang merujuk lembar spesifikasi Microsoft.

Angka itu menunjukkan prioritas rancangan baru. Microsoft tidak sekadar menambah kemampuan komputasi mentah, tetapi berusaha mengurangi waktu tunggu ketika chip mengambil data. Pada tahap decode—saat model menghasilkan token satu per satu—prosesor dapat lebih banyak menunggu data ketimbang melakukan perhitungan, terutama dalam rangkaian penalaran panjang dan kerja agen AI.

Maia 300 berupaya mendekatkan data ke komputasi melalui susunan memori yang tidak seragam di antara chiplet dan SRAM pada die yang dikelola perangkat lunak. Microsoft juga menyebut format angka yang lebih ringkas, termasuk MXFP4 yang ditingkatkan serta format penyimpanan di bawah tiga bit, dengan konversi yang ditangani perangkat keras.

Maia 300 dan perebutan margin chip AI

Bagi Microsoft, dampak praktisnya ada pada ongkos menjalankan inferensi. Perusahaan menyampaikan kepada investor pada Juli bahwa Maia 200 bisa beroperasi hingga 40% lebih murah dibandingkan chip terbaru Nvidia ketika digunakan untuk model OpenAI dan Microsoft.