Maia 300 Microsoft Tantang Nvidia Lewat Bandwidth Memori

Maia 300 Microsoft menargetkan pekerjaan AI yang paling sering dijalankan: inferensi. Bagi perusahaan yang mengoperasikan layanan AI dalam skala besar, akselerator rancangan sendiri berpotensi menekan biaya dan mengurangi ketergantungan pada Nvidia—meski belum tentu menggoyang dominasi pemasok chip itu dalam waktu dekat.

Microsoft mengumumkan rencana memperluas penggunaan akselerator Azure Maia hingga skala multi-gigawatt mulai 2027. Scott Guthrie, wakil presiden eksekutif Cloud + AI Microsoft, mengatakan Maia akan menjadi sistem inferensi utama bagi produk dan layanan perusahaan. Rencana tersebut bertumpu pada Maia 300, chip baru yang mengutamakan peningkatan bandwidth memori.

Maia 300 mengejar hambatan di inferensi AI

Dalam paparan arsitektur, Rani Borkar, presiden Azure Hardware Systems and Infrastructure, bersama Saurabh Dighe, wakil presiden korporat bidang perencanaan sistem dan arsitektur, menjelaskan perubahan rancangan Maia 300.

Berbeda dari Maia 200 yang memakai satu die, Maia 300 menggunakan paket multi-chiplet: komputasi berada pada proses N2P TSMC, sedangkan pengendali memori dan fungsi I/O ditempatkan pada die terpisah.

Delapan tumpukan HBM4 menyediakan kapasitas 288GB dengan bandwidth 18TB/s untuk setiap akselerator. Sebagai pembanding, Maia 200 memiliki memori 216GB dan bandwidth 7.1TB/s, menurut uraian StorageReview yang merujuk lembar spesifikasi Microsoft.

Angka itu menunjukkan prioritas rancangan baru. Microsoft tidak sekadar menambah kemampuan komputasi mentah, tetapi berusaha mengurangi waktu tunggu ketika chip mengambil data. Pada tahap decode—saat model menghasilkan token satu per satu—prosesor dapat lebih banyak menunggu data ketimbang melakukan perhitungan, terutama dalam rangkaian penalaran panjang dan kerja agen AI.

Maia 300 berupaya mendekatkan data ke komputasi melalui susunan memori yang tidak seragam di antara chiplet dan SRAM pada die yang dikelola perangkat lunak. Microsoft juga menyebut format angka yang lebih ringkas, termasuk MXFP4 yang ditingkatkan serta format penyimpanan di bawah tiga bit, dengan konversi yang ditangani perangkat keras.

Maia 300 dan perebutan margin chip AI

Bagi Microsoft, dampak praktisnya ada pada ongkos menjalankan inferensi. Perusahaan menyampaikan kepada investor pada Juli bahwa Maia 200 bisa beroperasi hingga 40% lebih murah dibandingkan chip terbaru Nvidia ketika digunakan untuk model OpenAI dan Microsoft.

Namun, perusahaan tidak menyebut GPU tertentu sebagai pembanding, sehingga klaim tersebut belum bisa dibaca sebagai perbandingan langsung dengan satu produk Nvidia yang teridentifikasi.

Jika pembeli terbesar memindahkan sebagian beban inferensi ke chip buatan sendiri, mereka dapat membayar lebih dekat ke biaya produksi daripada margin pemasok. Tekanan seperti itu relevan bagi perusahaan yang membangun pusat data AI, tetapi belum otomatis berarti belanja infrastrukturnya turun. Yang berubah terutama adalah siapa yang memperoleh bagian lebih besar dari pengeluaran tersebut.

Skala bisnis Nvidia menjelaskan mengapa perubahan itu diperhatikan. Untuk kuartal yang berakhir pada Juli 2026, Nvidia melaporkan pendapatan $96.2 miliar, termasuk $89 miliar dari pusat data, dengan margin kotor 75%. CFO Colette Kress menyebut pendapatan dari hyperscaler sebesar $49 miliar. Kelompok pelanggan besar itu sekaligus menjadi pihak yang mulai merancang akselerator sendiri.

Namun, Maia belum menjadi pengganti besar bagi chip Nvidia dalam waktu dekat. Analis Evercore ISI memperkirakan Maia akan menyumbang sekitar 10% dari belanja chip AI Microsoft pada kuartal pertama 2027, menurut CNBC. Nvidia juga memproyeksikan pendapatan $108 miliar untuk kuartal berjalan.

Microsoft sendiri masih menggunakan Nvidia dan AMD untuk pelatihan model; Satya Nadella mengatakan bahwa kemampuan mengintegrasikan teknologi secara vertikal bukan berarti perusahaan hanya akan mengandalkan integrasi itu.

Chip khusus belum mengempiskan belanja AI

Microsoft pernah mengatakan kepada Komisi Eropa pada 2024 bahwa Google menjadi satu-satunya perusahaan yang terintegrasi di setiap lapisan AI, dari chip hingga toko aplikasi seluler.

Dalam pernyataan yang dikutip bahan sumber, Microsoft menyebut perusahaan lain harus mengandalkan kemitraan untuk berinovasi dan bersaing. Kini, langkah Maia memperlihatkan perusahaan itu berusaha membangun lebih banyak kemampuan di dalam rumah sendiri.

Google juga menjual TPU sebagai sistem bagi pelanggan pusat data. CFO Alphabet Anat Ashkenazi mengatakan perusahaan mulai mengakui pendapatan dari penjualan sistem TPU pada kuartal kedua, sementara CEO Sundar Pichai menyampaikan adanya permintaan kuat untuk TPU mandiri.

Meski mengembangkan chip sendiri, Alphabet tetap memasukkan Vera Rubin dalam daftar pilihannya dan menyebut masih menghadapi keterbatasan pasokan.

Langkah serupa terlihat pada perusahaan lain. Anthropic telah mengatur kapasitas TPU 3.5GW melalui Broadcom untuk 2027, di atas kesepakatan sebelumnya hingga satu juta TPU.

Amazon mengembangkan Trainium, Graviton, dan Nitro; Andy Jassy mengatakan bisnis chip Amazon melampaui laju pendapatan tahunan $20 miliar pada April 2026. OpenAI juga telah membuka informasi mengenai akseleratornya sendiri, Jalapeño.

Tetapi chip khusus tidak serta-merta membuat Nvidia kehilangan pelanggan. Amazon, meski memiliki bisnis chip sendiri, diperkirakan tetap menerima lebih dari 3 juta GPU Nvidia hingga pertengahan 2028.

Nvidia berargumen bahwa chip inferensi khusus untuk satu layanan tidak menawarkan keluasan platform yang sama. Microsoft mengambil posisi berbeda: satu penyedia layanan dengan skala cukup besar mungkin dapat membenarkan investasi chip sendiri.

Biaya fisik juga menjadi tantangan. Dengan kebutuhan daya 167 kW per rak, satu gigawatt daya rak setara dengan sekitar 6.000 rak Maia 300 atau sekitar 575.000 akselerator, sebelum kebutuhan pendinginan dan fasilitas dihitung. Perkiraan itu menggambarkan bahwa memperluas penggunaan chip bukan cuma soal merancang prosesor, melainkan juga menyediakan daya dan infrastruktur pendukung.

Gartner memperkirakan penyedia AI akan membelanjakan hampir $1 triliun untuk infrastruktur pada 2026, sementara pendapatan AI belum mampu menutup investasi itu secara menguntungkan hingga setidaknya 2032.

Karena itu, chip buatan sendiri berpotensi mengubah pembagian margin, tetapi belum tentu mengurangi total biaya pembangunan. Microsoft menargetkan perluasan Maia ke skala multi-gigawatt mulai 2027.