LiteLLM
開源的 AI 閘道,用統一的 OpenAI 格式呼叫 100 多家 LLM,內建成本追蹤、負載平衡、護欄與日誌,可當 Python SDK 用也能部署成團隊共用的代理伺服器。
LiteLLM 是什麼
LiteLLM 是一套開源的 AI 閘道,解決的是一個很實際的痛:每家 LLM 供應商的 API 格式都不一樣,你接了 OpenAI 再想換 Anthropic、Gemini、Bedrock,程式碼就得改一輪。LiteLLM 讓你用統一的 OpenAI 格式去呼叫超過 100 家供應商,底層怎麼換、你的程式碼幾乎不用動。
它有兩種用法。一種是當 Python SDK,直接在程式裡 import 進來呼叫;另一種是部署成 Proxy Server(也就是 AI Gateway),變成團隊或組織共用的集中服務,所有 LLM 流量都從這裡走。後者的好處是成本追蹤、負載平衡、護欄、日誌這些治理功能都能集中管,不用每個專案各自造輪子。LiteLLM 出自 Y Combinator 投資的 BerriAI,完全開源,在開發者圈接受度很高。
功能特色與適用場景
LiteLLM 最核心的價值是「一個介面打天下」。對於要在多家模型之間切換、做 A/B 測試、或想避免被單一供應商綁死的團隊,它把抽象層做好,讓你換模型像換設定一樣輕鬆。內建的成本追蹤能讓你看清楚錢花在哪個專案、哪個模型,這在 LLM 帳單容易失控的當下很重要。
典型場景:公司有多個團隊都在用 LLM,你部署一台 LiteLLM Proxy 當統一入口,集中管金鑰、配額、預算與日誌;或是你在開發階段想快速比較不同模型的效果,用同一套程式碼切來切去。負載平衡與容錯機制也讓它適合上正式環境,當某家供應商掛了能自動轉到備援。適合任何需要管理多模型、在意成本與治理的開發團隊。
TheAI學院 編輯建議
編輯實測後的真心話多模型時代,把抽象層做好的閘道幾乎是必需品,LiteLLM 是這塊開源界的標竿選擇,成本追蹤尤其實用。要享受治理功能就得付出部署維運的代價。我們給 4.4 分。
主要功能
- 用統一 OpenAI 格式呼叫 100 多家 LLM
- 可當 Python SDK 或部署成 Proxy 閘道
- 內建成本追蹤、負載平衡與容錯
- 支援護欄與集中日誌治理
- 開源,出自 YC 投資的 BerriAI
適用場景
- 在多家模型之間自由切換與比較
- 部署統一閘道集中管金鑰與預算
- 為多團隊提供共用的 LLM 入口
- 在正式環境做負載平衡與容錯備援
LiteLLM 的優點與缺點
優點
- 換模型免改程式碼,避免供應商綁死
- 成本追蹤讓 LLM 帳單透明可控
- 開源且社群活躍,接受度高
缺點
- 部署 Proxy 與調校需要一定維運能力
- 治理功能完整但設定有學習曲線
- 純前端或非技術使用者用不到
LiteLLM 常見問題
LiteLLM 怎麼支援這麼多家模型?
它把各家 API 抽象成統一的 OpenAI 格式,你用同一套呼叫方式,底層由 LiteLLM 轉譯到對應供應商,換模型幾乎不用改程式。
SDK 跟 Proxy 差在哪?
SDK 是在你程式裡直接 import 使用;Proxy 是部署成獨立伺服器當團隊共用入口,集中做成本、配額與日誌治理。
使用者評價
還沒有足夠評價，搶先分享你的使用心得！
寫下你的評價
相關 AI 工具
猜你也想看的AI 開發者工具
LiteLLM 相關文章與教學
LiteLLM 評測：值得用嗎？
LiteLLM 是什麼
LiteLLM 是一套開源的 AI Gateway（LLM 閘道）。它解決的問題很實際：當你的應用要同時用到 OpenAI、Anthropic、Gemini、Bedrock、Azure 等一百多家模型時，每家 API 格式都不一樣，串起來很煩。LiteLLM 把它們全部統一成 OpenAI 的格式，你的程式只要會呼叫 OpenAI，就等於會呼叫所有家。它有兩種用法：Python SDK（直接寫進程式）或 Proxy Server（自架一個閘道，所有人連這台）。
適合誰
這是給工程師和平台團隊的工具，不是給一般使用者的聊天 App。如果你的團隊在做 AI 產品、要同時管多家模型、要追成本、要做負載平衡和故障備援（fallback），LiteLLM 幾乎是這個領域的事實標準，採用 MIT 授權，GitHub 星數很高。
優點
統一介面、換模型不用改程式碼，這點省事到位。Proxy 模式能幫你做成本追蹤、依團隊或使用者設預算與速率限制、加 guardrails（內容過濾、PII 遮罩）、記 log。對要把 AI 用量管起來的公司，這些都是剛需。自架代表資料路徑你自己掌握。
缺點與限制
它是基礎設施，不是成品。要自己部署、自己維運，沒有工程能力的人碰不了。它本身不提供模型，模型費用還是各付各的。開源版功能足夠，但部分企業級功能（如更完整的權限、SSO）會落在付費的企業方案，免費版有功能上限。多一層 proxy 也代表多一個要顧的故障點。
替代方案
同類的有 OpenRouter（託管、不用自架）、Portkey、Cloudflare AI Gateway。想要框架層級的多模型抽象則可看 LangChain、Pydantic AI。
台灣觀點
沒有繁中文件，但工程師讀英文文件是日常，不構成障礙。對台灣做 AI 產品的新創特別有用：可以自架在自己掌控的環境、把多家模型成本集中管理、避免被單一供應商綁死。要注意的是，它只是轉接層，繁中表現好壞仍取決於你後面接哪家模型。
總評：做 AI 產品、要管多模型與成本的台灣工程團隊，這是值得納入基礎建設的開源利器；非工程角色用不到。
本評測由 TheAI學院編輯群整理，內容力求客觀、含優缺點，僅供參考。
最後更新：2026年6月