Infrastruktur Asas LLM Berbilang Model: Cara Membina Gerbang API, Kebolehcerapan, dan Penjejakan Eksperimen (LiteLLM, MLflow)

Pukul dua pagi, sebuah pasukan permulaan (startup) khidmat pelanggan AI menerima amaran: tindak balas menjadi perlahan dan kadar ralat melonjak tinggi. Jurutera membuka papan pemuka latar belakang, tetapi tidak dapat mengenal pasti punca masalah—kerana mereka menyambungkan API daripada tiga model sekaligus; ada yang melalui pembekal A, ada melalui B, dan kod tersebut dipenuhi dengan logik if-else untuk penukaran. Tiada satu tempat pun yang membolehkan mereka melihat sepintas lalu "model mana yang sedang perlahan sekarang, model mana yang mengeluarkan ralat, dan berapa banyak wang yang telah dibelanjakan bulan ini." Mereka bukannya tidak tahu cara menulis kod, tetapi mereka kekurangan lapisan infrastruktur asas.

Inilah tembok yang dilanggar oleh banyak pasukan AI pada separuh pertama tahun 2026: model itu sendiri tidak sukar digunakan, tetapi kesukarannya timbul apabila anda mahu menggunakan pelbagai model secara serentak dan melancarkannya ke persekitaran produksi (production) — iaitu keseluruhan set kejuruteraan "penyambungan, kebolehmerhatian (observability), dan eksperimen" di bahagian bawah. Artikel ini akan membahagikan infrastruktur ini kepada tiga bahagian untuk dijelaskan dengan teliti.

Mengapa Perkara Ini Penting Sekarang

Dua tahun lalu, kebanyakan aplikasi AI hanya menyambungkan satu model; sambung satu API dan terus mula bekerja. Tetapi pasukan yang saya lihat sejak setengah tahun kebelakangan ini hampir semuanya menuju ke arah "pelbagai model (multi-model)": penalaran kesukaran tinggi menggunakan model flagship; tugas mudah kekerapan tinggi menggunakan model kecil yang murah dan pantas; dan bagi senario tertentu demi pematuhan data, mereka menggunakan model sumber terbuka yang dihoskan sendiri. Seperti yang saya sebutkan dalam artikel ejen pengekodan itu — pengagihan pelbagai model adalah kunci untuk menjimatkan kos.

Tetapi pelbagai model membawa tiga masalah realistik. Pertama, format, parameter, and pengendalian ralat bagi API setiap pembekal adalah berbeza; kod anda akan dipenuhi dengan logik penukaran. Kedua, anda tidak dapat melihat gambaran keseluruhan—permintaan mana yang perlahan, mana yang ralat, ke mana token dibelanjakan, dan bagaimana bil bulan ini dijumlahkan, semuanya berselerak di latar belakang setiap pembekal. Ketiga, anda tidak tahu sama ada "menukar model atau mengubah gesaan (prompt) akan menjadikan prestasi lebih baik atau lebih teruk", kerana tiada rekod dan perbandingan yang sistematik.

Ketiga-tiga masalah ini sepadan dengan tiga lapisan infrastruktur LLM: Gerbang API (API gateway untuk penyambungan bersatu), kebolehmerhatian (untuk melihat gambaran keseluruhan), dan penjejakan eksperimen (untuk mengetahui kesan perubahan). Sebaik sahaja skala pasukan meningkat, ketiga-tiga lapisan ini pasti perlu dilengkapi lambat laun.

Alat Utama dan Perbezaannya

Saya membahagikannya mengikut tiga lapisan tersebut untuk memberitahu anda apa yang diselesaikan oleh setiap lapisan serta alat wakil yang ada:

Lapisan Pertama: Gerbang API / Penyambungan Bersatu (API gateway)
Membolehkan anda menggunakan satu set antara muka bersatu untuk memanggil model daripada pelbagai pihak, tanpa perlu menulis set kod yang berasingan untuk setiap pembekal.

• LiteLLM: Penyelesaian sumber terbuka yang paling kerap disebut dalam lapisan ini. Ia membantu anda menyambung kepada pelbagai pembekal model menggunakan format yang konsisten, serta mampu melakukan pengimbangan beban (load balancing), menetapkan sandaran (automatik tukar jika satu pihak down), serta mengawal penggunaan dan bajet setiap projek. Jika anda ingin melakukan pengagihan pelbagai model, ia biasanya menjadi asasnya.

Lapisan Kedua: Kebolehmerhatian (Observability)
Membolehkan anda melihat dengan jelas apa yang berlaku pada setiap permintaan — lewat masa (latency), ralat, token, kos, malah setiap langkah gesaan (prompt) dan respons.

• Langfuse: Platform kebolehmerhatian yang direka khas untuk aplikasi LLM, mampu menjejak rantaian panggilan lengkap, merekodkan gesaan dan respons, mengira kos, dan membolehkan anda mengesan langkah mana yang ralat apabila masalah berlaku.
• Helicone: Turut menumpukan pada pemantauan dan analisis kos, terkenal kerana kemudahan penyepaduan, sesuai untuk pasukan yang ingin cepat mengubah "apa yang tidak kelihatan" kepada "kelihatan".

Lapisan Ketiga: Penjejakan Eksperimen (Experiment Tracking)
Membolehkan anda merekodkan secara sistematik "apa yang saya ubah kali ini dan bagaimana hasilnya", bukannya menilai kebaikan atau keburukan berdasarkan tanggapan semata-mata.

• MLflow: Alat veteran dalam bidang pembelajaran mesin (ML), yang telah banyak memperkukuh sokongannya untuk LLM dan GenAI dalam dua tahun kebelakangan ini. Ia boleh menjejak eksperimen, mengurus versi, dan menilai keputusan. Jika pasukan anda sudah mempunyai latar belakang ML, ia adalah kesinambungan yang semulajadi.
• Weights & Biases: Satu lagi pilihan arus perdana untuk penjejakan dan penilaian eksperimen, dengan visualisasi yang sangat baik, memudahkan perkongsian keputusan semasa kolaborasi pasukan.

Perlu diingatkan bahawa sempadan ketiga-tiga lapisan ini semakin kabur menjelang 2026 — banyak alat mula menceroboh wilayah masing-masing, di mana satu platform melakukan kedua-dua kebolehmerhatian dan eksperimen sekaligus. Jadi, jangan terlalu pening dengan klasifikasi, kenal pasti dahulu bahagian mana yang anda kekurangan.

Cara Penggunaan Sebenar (Pendekatan Berperingkat)

Bukan setiap pasukan memerlukan set lengkap dari permulaan. Cadangan saya adalah untuk melengkapkannya secara beransur-ansur mengikut tahap kesakitan (pain points):

1. Hanya mempunyai satu atau dua model, volum belum tinggi: Jangan terburu-buru mendapatkan infrastruktur. Cara konvensional dan merekod sendiri sudah memadai, asalkan cukup — jangan lakukan kejuruteraan berlebihan (over-engineering).
2. Mula memerlukan pengagihan pelbagai model: Pada masa ini, pasang gerbang API (API gateway) dahulu. Gunakan LiteLLM untuk menyatukan semua panggilan model ke satu antara muka. Selepas itu, penukaran model atau penambahan sandaran hanya perlu diubah di satu tempat tanpa menyentuh pelbagai bahagian kod.
3. Memasuki persekitaran produksi, mula mempunyai pengguna sebenar: Lengkapkan kebolehmerhatian. Rekodkan kelewatan (latency), ralat, dan kos setiap permintaan supaya anda mempunyai jejak untuk diikuti apabila masalah berlaku. Apabila anda dikejutkan pada pukul dua pagi, anda akan berterima kasih kepada lapisan ini.
4. Mula serius menala prestasi: Lengkapkan penjejakan eksperimen. Setiap kali anda menukar gesaan, menukar model, atau melaras parameter, rekod dan bandingkan secara sistematik. Gunakan MLflow atau Weights & Biases untuk mengubah "rasa hati" kepada "berasaskan data".
5. Kembali menyatukan ketiga-tiga lapisan: Pada peringkat matang, pastikan panggilan gerbang membawa data kebolehmerhatian secara automatik, dan biarkan keputusan eksperimen dibandingkan dengan prestasi atas talian (online) untuk membentuk gelung tertutup (closed loop).

Perangkap Biasa dan Cadangan

• Kejuruteraan berlebihan adalah pembaziran terbesar: Jika anda masih mengesahkan hala tuju produk dan volum permintaan harian hanya dua digit, terburu-buru memasang infrastruktur penuh adalah mencari kerja sendiri. Infrastruktur mesti berkembang mengikut tahap kesakitan, bukan semakin awal semakin baik.
• Gerbang (gateway) akan menjadi titik kegagalan tunggal (single point of failure): Semua trafik melalui lapisan ini; jika ia down, semuanya down. Jika anda menghoskannya sendiri, pastikan ketersediaan tinggi (high availability) dijaga, dan jangan pertaruhkan nadi perniagaan anda pada nod tunggal tanpa sandaran.
• Data peribadi tersembunyi dalam data kebolehmerhatian: Apabila anda merekodkan gesaan dan respons yang lengkap, anda mungkin menyimpan data sensitif pengguna sekali. Fikirkan dengan teliti sama ada perlu menyamarkan data tersebut sebelum merekod, terutamanya dalam industri yang dikawal selia.
• Pemerhatian kos harus dilakukan lebih awal: Perkara paling mudah hilang kawalan dalam multi-model ialah bil. Menunggu bil tiba barulah terkejut kerana kos terlalu tinggi sudah terlambat; masukkan pemantauan kos sejak hari pertama.
• Jangan takut dengan "alat ML syarikat besar": Alat seperti MLflow kedengaran berat, tetapi anda hanya boleh menggunakan bahagian kecil yang anda perlukan tanpa perlu membawa masuk keseluruhan set.

Pandangan TheAI Akademi

Perkara ini tidak seksi, tiada demo yang hebat, tetapi ia menentukan sama ada produk AI anda boleh hidup dengan stabil dalam persekitaran produksi. Saya telah melihat terlalu banyak pasukan menghabiskan banyak usaha pada model dan gesaan, tetapi tersadung pada lubang infrastruktur seperti "tidak tahu sebabnya apabila berlaku masalah selepas pelancaran" atau "menyedari bajet habis terbakar hanya selepas bil tiba".

Ulasan: Model ialah enjin, manakala infrastruktur ialah papan pemuka dan tangki bahan api — tanpa ia, tidak kira betapa pantas anda berlari, anda hanya memecut tanpa mengetahui berapa banyak petrol yang tinggal.

Cadangan khusus untuk pembaca: Jangan pasang set penuh sekaligus, lengkapkan mengikut tahap kesakitan. Jika anda hanya seorang individu atau pasukan kecil yang sedang ber eksperimen, anda boleh mengabaikan ketiga-tiga lapisan ini buat sementara waktu; tetapi sebaik sahaja anda mahu "menggunakan beberapa model secara serentak", langkah pertama ialah memasang lapisan gerbang seperti LiteLLM yang akan memudahkan anda menukar model dan mengawal kos pada masa hadapan. Apabila anda benar-benar mempunyai pengguna dan mula takut dengan masalah tengah malam, barulah lengkapkan kebolehmerhatian. Anggap set infrastruktur ini sebagai insurans — anda tidak merasainya pada waktu biasa, tetapi ia menyelamatkan nyawa anda apabila kecemasan berlaku. Jika anda ingin melihat bagaimana model-model ini digunakan dalam senario pengekodan dan semakan, baca semula Gambaran Keseluruhan Ejen Pengekodan dan Panduan Alat Semakan Kod AI.

Sumber Data

• Dokumentasi Rasmi LiteLLM: https://docs.litellm.ai
• Laman Web Rasmi MLflow: https://mlflow.org

Artikel ini adalah penerangan ringkas mengenai kategori alat dan kaedah arkitektur. Oleh kerana kemas kini fungsi alat adalah pantas, keupayaan sebenar dan harga tertakluk kepada pengumuman rasmi terkini.