Bayangin, perusahaan tiba-tiba sadar kalau tagihan AI-nya membengkak gila-gilaan, sampai setara dengan 40% total gaji tim R&D mereka. Itulah yang dialami Rippling di awal tahun ini. Mereka kaget setengah mati waktu CFO Adam Swiecicki nunjukin data di rapat eksekutif Maret lalu. Angkanya bikin mata melotot!
“Saya pikir kami semua enggak percaya,” ujar Matt MacInnis, Chief Product Officer Rippling, tentang momen shock tersebut. Yang lebih bikin merinding, ada satu engineer yang borosnya ampun-ampunan: $50.000 per bulan cuma buat token AI! Bayangin, duit segitu bisa dipakai buat apa aja, tapi ini habis cuma buat nge-prompt AI.
Darimana Asal Bocornya? Ini Dia Biang Keroknya!
Masalah utamanya simpel: karyawan pake model AI paling canggih dan termahal buat semua tugas, termasuk yang sepele. Provider AI kayak Anthropic sama OpenAI juga dianggap gak punya insentif buat bantu pelanggan ngirit. Mereka malah diuntungkan kalau pemakaian makin liar.
“Nggak ada insentif dari mereka buat bantu kamu kontrol pengeluaran,” tegas MacInnis. “Mereka malah punya semua alasan buat bikin biaya ini kabur. Mereka gak kasih wawasan pemakaian yang jelas dan gak mau kolaborasi satu sama lain.”
Ini fenomena yang dijuluki “tokenmaxxing,” di mana perusahaan pesta pora pakai AI tanpa kontrol. Tapi Rippling gak tinggal diam. Mereka langsung bikin solusi: AI Spend Console.
Baca juga: Profil Anthropic AI: Pendiri, Claude, dan Kisah Suksesnya Menggeser OpenAI di Pasar Enterprise
AI Spend Console: Solusi Anti-Boros yang Keren Abis!
Alat ini bukan cuma nunjukkin siapa yang boros, tapi juga ngukur produktivitas karyawan pake AI. Jadi gak cuma “si A habis sekian,” tapi “apa sih hasil yang dia kasih?”. Ini dia fitur-fitur kece-nya:
- Lacak Pemakaian per Individu: Bisa keliatan siapa aja yang boros dan siapa yang bener-bener produktif.
- Flag AI Slop: Nandain karyawan yang pake AI tapi hasilnya jelek, sampai-sampai sering disuruh ulang sama rekan tim.
- AI Gateway Cerdas: Otomatis ngarahin prompt ke model AI yang paling murah tapi tetap ampuh buat tugas tertentu. Ini kunci penghematan!
Hasilnya? Jatuh banget! Pengeluaran token AI Rippling turun dari 40% jadi cuma 15% dari budget R&D. Meskipun pemakaian token hampir sama (600 miliar token), biayanya cuma 37% dari sebelumnya. Keren kan?
Baca juga: OpenAI Rem Mendem Model AI Astra? Takut Kebangetan Jago Hack!
Ga Cuma Ngirit, Tapi Juga Pinter Pilih Model
Rippling juga sadar, kuncinya gak cuma ngurangin pemakaian, tapi pilih model yang tepat. Parker Conrad, CEO Rippling, nge-share temuan menarik: model GLM 5.2 dari Z.ai (China) punya performa yang hampir sama dengan model frontier, tapi 85% lebih murah! Mereka pun pakai kombinasi model, termasuk Grok-nya SpaceX, buat dapetin hasil optimal dengan biaya minimal.
Ke depannya, akses AI di kantor mungkin bakal dibatesin. MacInnis bilang, “Kalau kami gak bisa hubungin konsumsi token sama produktivitas, maka akses AI gak bakal seluas Slack atau email.” Kira-kira, kantor lo bakal gimana nih?
Baca juga: Kitesurf: Browser Masa Depan yang Nggak Dirancang Buat Manusia
About the Author
