NanoEuler, model GPT-2 buatan sendiri di C/CUDA

JAKARTA — NanoEuler menarik perhatian komunitas teknologi karena seluruh model bahasa setara GPT-2 itu dibangun dari nol memakai C dan CUDA, tanpa PyTorch, tanpa autograd, dan tanpa pustaka machine learning siap pakai. Proyek ini juga menjalankan pelatihan pretrain hingga fine-tuning percakapan di satu GPU konsumen RTX 4070.

Kenapa NanoEuler jadi menarik

Bagi pembaca awam, kabar ini bukan sekadar demo pemrograman. NanoEuler menunjukkan bahwa sebuah model bahasa tetap bisa dirakit dari komponen paling dasar: tokenizer byte-level BPE, forward dan backward pass yang ditulis manual, lalu pipeline pelatihan yang berjalan penuh di CPU maupun GPU.

Pengembang proyek itu menyebut seluruh prosesnya dibuat untuk tujuan riset dan pendidikan. Artinya, fokusnya bukan mengejar produk siap pakai, melainkan membuat tiap bagian sistem bisa dipahami dan dicek satu per satu. Dalam dunia model bahasa yang biasanya dibungkus lapisan abstraksi tebal, pendekatan ini terasa langka.

Di sisi teknis, NanoEuler memuat banyak bagian yang biasa ditemui pada model modern: RMSNorm, RoPE, grouped-query attention, SwiGLU, softmax, cross-entropy, dan AdamW. Ada juga FlashAttention yang ditulis manual, lalu divalidasi terhadap referensi CPU dengan gradient check seluruh model.

Berjalan tanpa PyTorch dan autograd

Hal yang paling mencolok dari proyek ini justru sederhana: tidak ada jalan pintas. Pengembang menulis sendiri jalur maju dan mundur, lalu memeriksa turunan analitik terhadap finite difference berpresisi ganda agar kesalahan kecil tidak lolos diam-diam. Di model besar, satu kesalahan gradien saja bisa merusak pelatihan berjam-jam.

Dalam dokumentasinya, NanoEuler disebut sudah diuji di Linux dengan gcc 13, memakai OpenMP untuk memanfaatkan banyak inti CPU, dan memanfaatkan cuBLAS untuk perkalian matriks di GPU. Untuk mesin 12 inti, pelatihan model kecilnya disebut bisa selesai dalam hitungan jam. Untuk versi GPU, model sekitar 116 juta parameter dilatih di satu RTX 4070.

Ukuran itu penting untuk dibaca dengan jernih. 116 juta parameter terdengar besar, tapi masih jauh dari model asisten modern yang benar-benar andal. Pengembangnya sendiri menulis bahwa hasilnya adalah generator teks dengan bahasa yang lumayan lancar, tetapi tanpa pengetahuan dunia yang kuat. Jelas, itu bukan chatbot yang siap membantu pekerjaan sehari-hari.