LiteLLM

LiteLLM 是什麼

LiteLLM 是一套開源的 AI 閘道,解決的是一個很實際的痛:每家 LLM 供應商的 API 格式都不一樣,你接了 OpenAI 再想換 Anthropic、Gemini、Bedrock,程式碼就得改一輪。LiteLLM 讓你用統一的 OpenAI 格式去呼叫超過 100 家供應商,底層怎麼換、你的程式碼幾乎不用動。

它有兩種用法。一種是當 Python SDK,直接在程式裡 import 進來呼叫;另一種是部署成 Proxy Server(也就是 AI Gateway),變成團隊或組織共用的集中服務,所有 LLM 流量都從這裡走。後者的好處是成本追蹤、負載平衡、護欄、日誌這些治理功能都能集中管,不用每個專案各自造輪子。LiteLLM 出自 Y Combinator 投資的 BerriAI,完全開源,在開發者圈接受度很高。

功能特色與適用場景

LiteLLM 最核心的價值是「一個介面打天下」。對於要在多家模型之間切換、做 A/B 測試、或想避免被單一供應商綁死的團隊,它把抽象層做好,讓你換模型像換設定一樣輕鬆。內建的成本追蹤能讓你看清楚錢花在哪個專案、哪個模型,這在 LLM 帳單容易失控的當下很重要。

典型場景:公司有多個團隊都在用 LLM,你部署一台 LiteLLM Proxy 當統一入口,集中管金鑰、配額、預算與日誌;或是你在開發階段想快速比較不同模型的效果,用同一套程式碼切來切去。負載平衡與容錯機制也讓它適合上正式環境,當某家供應商掛了能自動轉到備援。適合任何需要管理多模型、在意成本與治理的開發團隊。