Bil API LLM Melonjak, Apa Nak Buat? Lapan Cara Jimat Token yang Terbukti Berkesan

Jam dua tengah malam, seorang pembangun bebas menerima e-mel pemberitahuan penggunaan daripada Anthropic. Satu fungsi kecil yang dilancarkannya minggu lepas — meringkaskan PDF yang dimuat naik pengguna secara automatik — membakar AS$430 dalam tujuh hari ini. Angka yang dijangkanya ialah tiga puluh.

Di mana masalahnya? Setiap kali dia membuat panggilan, dia menyumbat keseluruhan dokumen ke dalam gesaan, dan pengguna sangat suka menanya lima enam soalan berturut-turut tentang dokumen yang sama. Dua puluh ribu token yang sama, dihantar berulang kali sebanyak enam kali.

Logik kos API model sangat berbeza daripada sumber awan. Anda tidak boleh "mematikan mesin", kerana setiap panggilan ialah peristiwa yang bebas; anda juga sukar untuk "menurunkan spesifikasi", kerana bertukar kepada model kecil mungkin terus memusnahkan pengalaman produk. Yang disusun artikel ini ialah cara yang benar-benar berkesan, dan yang saya sendiri atau pasukan di sekeliling saya benar-benar sahkan.

Satu, Ukur Dahulu, Kemudian Optimumkan

Ini kedengaran seperti perkara remeh, tetapi sembilan daripada sepuluh pasukan ketika mula menjimatkan wang langsung tidak tahu wang dibelanjakan pada fungsi yang mana.

Sekurang-kurangnya anda perlu merekod tiga perkara: bilangan token input setiap panggilan, bilangan token output, serta nama fungsi yang berkaitan. Dengan tiga medan ini, barulah anda boleh mengira angka yang boleh ditindaklanjuti seperti "purata kos setiap panggilan fungsi ringkasan". Menggunakan alat kebolehcerapan seperti Helicone atau Langfuse dapat menjimatkan kerja menulis sendiri.

Saya melihat terlalu banyak pasukan terus melompat ke pengoptimuman, akhirnya menghabiskan tiga hari mengoptimumkan satu fungsi yang hanya menyumbang 4% daripada jumlah kos.

Dua, Cache Gesaan Ialah Cara dengan Pulangan Pelaburan Tertinggi

Inilah fungsi yang paling dipandang rendah pada masa ini. Pembekal model utama semuanya menyediakan sejenis bentuk cache gesaan — apabila permintaan anda mempunyai awalan sepunya yang panjang (gesaan sistem, kandungan dokumen, contoh), panggilan selepas kali pertama boleh menggunakan semula pada harga diskaun yang besar.

Kembali kepada kes di awal tadi: jika dia meletakkan kandungan PDF pada awalan tetap gesaan dan mengaktifkan cache, kos soal jawab susulan bagi dokumen yang sama boleh diturunkan satu peringkat magnitud. Ini perubahan berstruktur, bukan menjimatkan sedikit sahaja.

Perkara yang perlu diberi perhatian dalam praktik ialah: cache ada tempoh masa, dan menuntut awalan yang benar-benar konsisten. Letakkan perkara yang berubah-ubah (soalan pengguna, cap masa, ID rawak) di bahagian paling akhir gesaan, kerana urutan ini menentukan sama ada cache boleh dipadankan.

Tiga, Penggredan Model: Bukan Setiap Perkara Memerlukan Model Perdana

Satu pembaziran lazim ialah semua tugas dihantar ke satu model yang paling mahal. Sebenarnya kebanyakan kerja boleh dibahagikan kepada tiga gred:

• Pengelasan, pengekstrakan, penukaran format: model kecil sudah cukup, dengan kos mungkin hanya satu perdua puluh daripada model perdana
• Soal jawab am, ringkasan, penulisan semula: kualiti model pertengahan sudah sangat hampir, dan perbezaannya tidak dapat dirasai kebanyakan pengguna
• Penaakulan kompleks, penjanaan program, perancangan berbilang langkah: baru pada masa inilah berbaloi menggunakan model perdana

Caranya ialah menambah satu logik penghalaan pada lapisan aplikasi, mengagihkan mengikut jenis tugas. Perkhidmatan seperti OpenRouter membolehkan anda menukar antara model pelbagai syarikat dengan satu set kunci API, dan pelaksanaannya tidak terlalu menyakitkan.

Empat, Tipiskan Gesaan

Gesaan sistem banyak pasukan terhasil daripada timbunan jangka panjang — tambah satu peraturan di sini, isi satu pengecualian di sana, dan selepas setengah tahun ia menjadi raksasa dua ribu token, dan setiap panggilan perlu membayar kos ini.

Cara praktikal: cetak gesaan sistem dan semak baris demi baris, tanya setiap baris "adakah output akan menjadi lebih teruk selepas dibuang". Saya pernah melakukannya sekali, memotong 40% kandungan, dan kualiti output tiada perbezaan yang boleh diukur. Contoh sedikit (few-shot examples) terutamanya perlu disemak, kerana banyak kali kesan tiga contoh dengan lapan contoh lebih kurang sama.

Lima, Panjang Output Perlu Dikawal Secara Proaktif

Token input biasanya lebih murah daripada output, tetapi kos output mudah hilang kawalan — model sangat suka bercakap panjang. Tetapkan had max_tokens, dan dalam gesaan minta dengan jelas format serta panjang output ("jawab dengan tiga poin, setiap poin tidak melebihi tiga puluh perkataan"), dua cara ini digabungkan memberi kesan yang lebih besar daripada yang dibayangkan.

Peringatan khas untuk model penaakulan: proses pemikiran mereka juga dikira sebagai token, dan sering beberapa kali lebih panjang daripada jawapan akhir. Menggunakan model penaakulan untuk mengendalikan tugas ringkas ialah salah satu kesilapan paling mahal yang pernah saya lihat.

Enam, Pemprosesan Berkelompok Boleh Dapat Separuh Harga

Jika tugas anda tidak memerlukan respons segera — contohnya memproses sekumpulan dokumen setiap hari, menjana laporan, pengelasan berkelompok — pembekal utama semuanya menyediakan API berkelompok, dengan harga biasanya separuh daripada panggilan segera, dan harganya ialah masa menunggu dipanjangkan hingga beberapa jam.

Senario yang sesuai untuk cara ini lebih banyak daripada yang disangka kebanyakan orang. Tanya diri sendiri: adakah fungsi ini benar-benar perlu balasan dalam tiga saat? Atau bolehkah pengguna menerima "akan siap esok pagi"?

Tujuh, Tambah Satu Lapisan Cache Semantik

Selain cache gesaan yang disediakan pembekal, anda juga boleh membuat cache semantik pada lapisan aplikasi sendiri: vektorkan soalan, dan jika soalan baharu cukup serupa dengan soalan lampau, terus pulangkan jawapan sebelumnya.

Ini terutamanya berkesan dalam senario seperti khidmat pelanggan, FAQ, soal jawab produk, kerana kadar pengulangan soalan yang ditanya pengguna amat tinggi. Kelemahannya ialah perlu menyelenggara pangkalan data vektor, dan menetapkan ambang keserupaan terlalu longgar akan memulangkan jawapan yang salah, jadi ia memerlukan penalaan yang teliti.

Lapan, Tetapkan Had Keras, Jangan Hanya Tetapkan Amaran

Masalah amaran ialah ia mengandaikan ada orang sedang melihat. Gelung tak terkawal pada jam tiga pagi tidak akan menunggu anda bangun.

Perlindungan paling berkesan ialah menetapkan had keras pada lapisan aplikasi: had bilangan panggilan harian bagi seorang pengguna, had token bagi satu permintaan, serta had perbelanjaan sejam keseluruhan, dan tolak terus jika melebihi. Ini akan menjejaskan pengalaman segelintir pengguna berat, tetapi berbanding bil yang melonjak, kos ini amat berbaloi.

Tiga Lubang yang Kerap Dijatuhi Pasukan Tempatan

Lubang pertama: gerak hati mengira token menggunakan skrip bukan Latin adalah salah. Kecekapan token bahasa berskrip bukan Latin seperti Cina atau Tamil lebih rendah daripada bahasa Inggeris atau Melayu, dan kandungan yang sama mungkin memerlukan tiga hingga lima puluh peratus lebih banyak token. Jika produk anda menyokong bahasa-bahasa ini serentak, struktur kosnya akan mempunyai perbezaan yang ketara, jadi kira secara berasingan ketika membuat anggaran.

Lubang kedua: lupa kadar tukaran dan caj perkhidmatan. API model semuanya dalam mata wang dolar AS, ditambah caj perkhidmatan mata wang asing kad kredit (biasanya 1.5%) dan beza kadar tukaran, jadi kos sebenar akan lebih tinggi daripada angka pada bil. Ingat untuk mendarabkan satu pekali ketika membuat bajet.

Lubang ketiga: persekitaran ujian tiada had. Saya melihat lebih daripada sekali, persekitaran rasmi dikawal dengan ketat, tetapi persekitaran pembangunan tiada sebarang had, akhirnya sesuatu skrip ujian menjalankan gelung dan membakar angka lima digit. Penggunaan persekitaran pembangunan juga perlu dikawal.

Untuk memahami pengurusan kos sumber awan itu sendiri, anda boleh membaca Mengapa Bil Awan Era AI Hilang Kawalan; logik kedua-duanya berbeza tetapi perlu diuruskan bersama.

Rumusan dan Ulasan TheAI Academy

Menjimatkan token ini mempunyai satu perkara yang sangat bertentangan dengan gerak hati: cara yang paling berkesan biasanya bukan bertukar kepada model murah, tetapi "jangan menghantar benda yang sama berulang kali".

Cache, berkelompok, kawalan panjang output — ketiga-tiga cara ini tiada satu pun yang mengorbankan kualiti, kesemuanya menghapuskan pembaziran semata-mata. Manakala bertukar kepada model kecil walaupun harga seunit murah, mungkin menyebabkan pengguna menanya semula tiga kali kerana kualiti output merosot, dan jumlah kos sebaliknya lebih tinggi.

Ulasan: Hapuskan pembaziran dahulu, kemudian barulah pertimbangkan penurunan gred. Jika urutannya terbalik, anda akan menukar pengalaman produk yang lebih teruk dengan bil yang lebih mahal.

Cadangan konkrit untuk pembangun: minggu ini lengkapkan dahulu rekod penggunaan (tiga medan iaitu input, output, nama fungsi sudah cukup), dan jalankan seminggu untuk melihat data. Anda mungkin akan mendapati lapan puluh peratus kos tertumpu pada satu dua fungsi, dan satu dua fungsi itu biasanya mempunyai ruang pengoptimuman yang sangat jelas. Bermula dari situ sepuluh kali lebih berkesan daripada pengoptimuman menyeluruh.

Alat berkaitan boleh ditemui di Alat Pembangun AI, dan anda juga boleh melihat Templat Gesaan untuk belajar cara menulis gesaan dengan lebih ringkas.