LiteLLM
開源的 AI 閘道,用統一的 OpenAI 格式呼叫 100 多家 LLM,內建成本追蹤、負載平衡、護欄與日誌,可當 Python SDK 用也能部署成團隊共用的代理伺服器。
LiteLLM 是什麼
LiteLLM 是一套開源的 AI 閘道,解決的是一個很實際的痛:每家 LLM 供應商的 API 格式都不一樣,你接了 OpenAI 再想換 Anthropic、Gemini、Bedrock,程式碼就得改一輪。LiteLLM 讓你用統一的 OpenAI 格式去呼叫超過 100 家供應商,底層怎麼換、你的程式碼幾乎不用動。
它有兩種用法。一種是當 Python SDK,直接在程式裡 import 進來呼叫;另一種是部署成 Proxy Server(也就是 AI Gateway),變成團隊或組織共用的集中服務,所有 LLM 流量都從這裡走。後者的好處是成本追蹤、負載平衡、護欄、日誌這些治理功能都能集中管,不用每個專案各自造輪子。LiteLLM 出自 Y Combinator 投資的 BerriAI,完全開源,在開發者圈接受度很高。
功能特色與適用場景
LiteLLM 最核心的價值是「一個介面打天下」。對於要在多家模型之間切換、做 A/B 測試、或想避免被單一供應商綁死的團隊,它把抽象層做好,讓你換模型像換設定一樣輕鬆。內建的成本追蹤能讓你看清楚錢花在哪個專案、哪個模型,這在 LLM 帳單容易失控的當下很重要。
典型場景:公司有多個團隊都在用 LLM,你部署一台 LiteLLM Proxy 當統一入口,集中管金鑰、配額、預算與日誌;或是你在開發階段想快速比較不同模型的效果,用同一套程式碼切來切去。負載平衡與容錯機制也讓它適合上正式環境,當某家供應商掛了能自動轉到備援。適合任何需要管理多模型、在意成本與治理的開發團隊。
TheAI學院 編輯建議
編輯實測後的真心話多模型時代,把抽象層做好的閘道幾乎是必需品,LiteLLM 是這塊開源界的標竿選擇,成本追蹤尤其實用。要享受治理功能就得付出部署維運的代價。我們給 4.4 分。
主要功能
- 用統一 OpenAI 格式呼叫 100 多家 LLM
- 可當 Python SDK 或部署成 Proxy 閘道
- 內建成本追蹤、負載平衡與容錯
- 支援護欄與集中日誌治理
- 開源,出自 YC 投資的 BerriAI
如何使用 LiteLLM
- 先決定用法：只在單一程式內呼叫就用 Python SDK，團隊要共用集中管控就部署 Proxy Server。
- SDK 用法先 pip install litellm，然後把原本的 openai 呼叫改成 litellm.completion，model 參數填如 anthropic/claude-3-5-sonnet 即可跨供應商。
- 各家金鑰用環境變數設定，例如 OPENAI_API_KEY、ANTHROPIC_API_KEY，LiteLLM 會依 model 前綴自動挑對應供應商。
- 要換模型時只改 model 字串，其餘程式碼幾乎不動，這就是統一 OpenAI 格式的最大好處。
- 部署 Proxy 時寫一份 config.yaml 列出 model_list 與各別名，啟動後所有服務改打這個閘道位址即可。
- 在 config 開啟成本追蹤與日誌，設定各團隊虛擬金鑰與預算上限，方便用台幣估算每月 API 花費並防超支。
- 設定負載平衡與 fallback，讓某供應商掛掉或限流時自動切到備援模型，維持線上服務不中斷。
- 上線前用 /health 端點確認各模型連得通，再逐步把流量導入，並定期看日誌抓異常呼叫。
適用場景
- 在多家模型之間自由切換與比較
- 部署統一閘道集中管金鑰與預算
- 為多團隊提供共用的 LLM 入口
- 在正式環境做負載平衡與容錯備援
LiteLLM 的優點與缺點
優點
- 換模型免改程式碼,避免供應商綁死
- 成本追蹤讓 LLM 帳單透明可控
- 開源且社群活躍,接受度高
缺點
- 部署 Proxy 與調校需要一定維運能力
- 治理功能完整但設定有學習曲線
- 純前端或非技術使用者用不到
價格方案
LiteLLM 是開源的 LLM 代理與閘道,用一致的介面串接 OpenAI,Anthropic,Google 等上百種模型,方便做金鑰管理,用量控管與成本追蹤。核心採 MIT 授權,軟體本身完全免費,可自行部署,不收軟體授權費;實際支出主要是你自己的雲端主機與各家模型的 API 用量。官方另有 LiteLLM Enterprise 企業版,提供進階權限,稽核與支援,不公開標準價,依第三方資料基本層約每月 250 美元起,更高階多走洽談報價,需向官方確認。自己會架且只要基本功能用免費開源版即可,要企業級權限與官方支援再評估付費。金額以官網為準。
LiteLLM 常見問題
LiteLLM 免費嗎？
它是開源工具，本身免費，可自行部署。
LiteLLM 解決什麼？
每家 LLM 供應商 API 格式都不同，LiteLLM 讓你用統一的 OpenAI 格式呼叫超過 100 家供應商，換底層模型時程式碼幾乎不用動。
LiteLLM 怎麼用？
可當 Python SDK 直接在程式裡呼叫，也能當一套 AI 閘道統一管理多家供應商。
LiteLLM 適合誰？
適合要接多家 LLM、又不想每換一家就改一輪程式碼的開發者與團隊。
要錢嗎,是免費的嗎?
核心是 MIT 授權的開源軟體,免費可自行部署,不收軟體費,只需付自家主機與各模型的 API 用量。另有企業版提供進階權限與支援,不公開標準價,走洽談報價,以官網為準。
台灣能用嗎?
可以,開源版可下載部署在台灣或任何雲端伺服器,沒有地區限制。它本身不提供模型,串接哪家模型就依該服務在台灣的可用性與計價而定。
使用者評價
還沒有足夠評價，搶先分享你的使用心得！
寫下你的評價
LiteLLM 的替代方案
查看相似的 AI 工具 →相關 AI 工具
Claude
Anthropic 的 AI 助理，長文件與寫作品質是它的主場。
telemetry.dev
把 AI 代理每一次模型呼叫、工具步驟與檢索串成一條 trace，看出哪一步最慢、哪個模型最燒錢、哪個 MCP 工具最常失敗
agentmash
隊友的 Codex 正在改同一個檔案，你的 Claude Code 動手前就會收到通知；按開發者計費，代理不限數量
Pluto Door
用白話描述問題，Ori 讀 log、跑指令，改動前一定問你；另外把每台 Linux 主機變成有 Dock 和視窗的桌面
Backenly
代理透過 MCP 建好資料庫、登入與儲存，Backenly 每分鐘巡檢並自動修安全範圍內的問題，刪表這類動作一律等人核准
Spacesheep
代理寫好的 HTML 或資料夾一行指令發布成私人網址，人和代理都能留言、改版，還能送電子簽署與接即時資料
猜你也想看的AI 開發者工具
更多美國的 AI 工具
同樣來自美國的 AI 工具，一起看看。
LiteLLM 相關文章與教學
LiteLLM 評測：值得用嗎？
LiteLLM 是什麼
LiteLLM 是一套開源的 AI Gateway（LLM 閘道）。它解決的問題很實際：當你的應用要同時用到 OpenAI、Anthropic、Gemini、Bedrock、Azure 等一百多家模型時，每家 API 格式都不一樣，串起來很煩。LiteLLM 把它們全部統一成 OpenAI 的格式，你的程式只要會呼叫 OpenAI，就等於會呼叫所有家。它有兩種用法：Python SDK（直接寫進程式）或 Proxy Server（自架一個閘道，所有人連這台）。
適合誰
這是給工程師和平台團隊的工具，不是給一般使用者的聊天 App。如果你的團隊在做 AI 產品、要同時管多家模型、要追成本、要做負載平衡和故障備援（fallback），LiteLLM 幾乎是這個領域的事實標準，採用 MIT 授權，GitHub 星數很高。
優點
統一介面、換模型不用改程式碼，這點省事到位。Proxy 模式能幫你做成本追蹤、依團隊或使用者設預算與速率限制、加 guardrails（內容過濾、PII 遮罩）、記 log。對要把 AI 用量管起來的公司，這些都是剛需。自架代表資料路徑你自己掌握。
缺點與限制
它是基礎設施，不是成品。要自己部署、自己維運，沒有工程能力的人碰不了。它本身不提供模型，模型費用還是各付各的。開源版功能足夠，但部分企業級功能（如更完整的權限、SSO）會落在付費的企業方案，免費版有功能上限。多一層 proxy 也代表多一個要顧的故障點。
替代方案
同類的有 OpenRouter（託管、不用自架）、Portkey、Cloudflare AI Gateway。想要框架層級的多模型抽象則可看 LangChain、Pydantic AI。
台灣觀點
沒有繁中文件，但工程師讀英文文件是日常，不構成障礙。對台灣做 AI 產品的新創特別有用：可以自架在自己掌控的環境、把多家模型成本集中管理、避免被單一供應商綁死。要注意的是，它只是轉接層，繁中表現好壞仍取決於你後面接哪家模型。
總評：做 AI 產品、要管多模型與成本的台灣工程團隊，這是值得納入基礎建設的開源利器；非工程角色用不到。
本評測由 TheAI學院編輯群整理，內容力求客觀、含優缺點，僅供參考。
最後更新：2026年10月