JAKARTA — Mengandalkan harga per token untuk mengukur pengeluaran layanan kecerdasan buatan (AI) kini dianggap keliru. Riset terbaru dari Databricks menunjukkan bahwa model yang menawarkan harga lebih murah per token justru bisa membengkakkan anggaran operasional perusahaan secara keseluruhan.
Matei Zaharia, CTO Databricks dan akademisi UC Berkeley, mengungkapkan bahwa evaluasi model AI harus beralih dari sekadar harga per satuan teks menjadi harga per penyelesaian tugas (price-per-task). Seringkali, model yang terlihat murah justru memakan lebih banyak token untuk menyelesaikan satu pekerjaan yang sama karena efisiensi logika yang lebih rendah.
Pentingnya Mengukur Efisiensi Tugas
Kesalahan umum banyak perusahaan adalah terpaku pada tarif nominal yang terpampang di situs penyedia layanan. Faktanya, model AI dengan tarif per token rendah terkadang membutuhkan berkali-kali percobaan atau instruksi yang lebih panjang untuk mencapai hasil yang benar.
Hal ini memicu akumulasi biaya yang secara signifikan lebih mahal dibandingkan model kelas atas dengan tarif per token lebih tinggi.
Sebagai contoh, perbandingan antara Anthropic Sonnet 5 dan Opus 4.8 memberikan gambaran nyata. Sonnet 5 memiliki tarif token sekitar 1,7 kali lebih murah daripada Opus 4.8.
Namun, saat diuji untuk menyelesaikan tugas teknis, Sonnet 5 justru menelan biaya 2,09 dolar AS per tugas, sementara Opus 4.8 hanya 1,94 dolar AS. Perbedaan ini muncul karena tingkat keberhasilan Opus 4.8 yang lebih tinggi, sehingga mengurangi jumlah pengulangan tugas.
Data ini sejalan dengan temuan akademisi yang mencatat bahwa dalam sepertiga pengujian, model dengan harga terdaftar lebih murah justru berakhir dengan biaya total yang lebih besar. Fenomena serupa ditemukan pada perbandingan performa model seperti Gemini 3 Flash dan GPT-5.4 di mana biaya aktual model yang dianggap lebih murah justru melonjak hingga 38 persen lebih tinggi.
Pengaruh Perangkat Pendukung (Harness)
Selain model AI itu sendiri, komponen perangkat pendukung atau harness yang menjembatani input pengguna ke model AI memiliki peran vital terhadap efisiensi biaya. Harness bertugas memproses input, memanggil alat, dan menyajikan hasil akhir. Jika harness mengirimkan terlalu banyak konteks atau data yang tidak perlu ke model, jumlah token yang terbakar akan meledak.
Databricks menemukan bahwa perangkat lunak harness yang berbeda menghasilkan konsumsi token yang jauh berbeda meskipun menjalankan tugas yang sama.
Penggunaan harness yang minimalis—seperti Pi—terbukti mampu menghasilkan tingkat keberhasilan setara dengan harness milik vendor besar, namun dengan konsumsi token yang jauh lebih irit.
Dalam satu pengujian, penggunaan Pi mengurangi total konteks per tugas hingga 3,2 kali lipat dibandingkan harness lainnya.
Implikasi bagi pelaku industri di Indonesia sangat jelas. Perusahaan yang mulai mengadopsi AI secara skala besar kini harus membangun tolok ukur internal berbasis tugas nyata, bukan sekadar mengikuti daftar harga dari penyedia.
Penggunaan alat bantu seperti wrapper atau sistem manajemen agen yang memungkinkan pertukaran model dan optimasi harness akan menjadi kunci untuk menjaga keberlanjutan biaya operasional di masa depan.
📝 Tinggalkan Komentar
Komentar sebagai . Ditinjau admin sebelum tampil.