LiteLLM
开源的 AI 闸道,用统一的 OpenAI 格式呼叫 100 多家 LLM,内建成本追踪、负载平衡、护栏与日志,可当 Python SDK 用也能部署成团队共用的代理伺服器。
LiteLLM 是什么
LiteLLM 是一套开源的 AI 闸道,解决的是一个很实际的痛:每家 LLM 供应商的 API 格式都不一样,你接了 OpenAI 再想换 Anthropic、Gemini、Bedrock,程式码就得改一轮。LiteLLM 让你用统一的 OpenAI 格式去呼叫超过 100 家供应商,底层怎么换、你的程式码几乎不用动。
它有两种用法。一种是当 Python SDK,直接在程式里 import 进来呼叫;另一种是部署成 Proxy Server(也就是 AI Gateway),变成团队或组织共用的集中服务,所有 LLM 流量都从这里走。后者的好处是成本追踪、负载平衡、护栏、日志这些治理功能都能集中管,不用每个专案各自造轮子。LiteLLM 出自 Y Combinator 投资的 BerriAI,完全开源,在开发者圈接受度很高。
功能特色与适用场景
LiteLLM 最核心的价值是「一个介面打天下」。对于要在多家模型之间切换、做 A/B 测试、或想避免被单一供应商绑死的团队,它把抽象层做好,让你换模型像换设定一样轻松。内建的成本追踪能让你看清楚钱花在哪个专案、哪个模型,这在 LLM 帐单容易失控的当下很重要。
典型场景:公司有多个团队都在用 LLM,你部署一台 LiteLLM Proxy 当统一入口,集中管金钥、配额、预算与日志;或是你在开发阶段想快速比较不同模型的效果,用同一套程式码切来切去。负载平衡与容错机制也让它适合上正式环境,当某家供应商挂了能自动转到备援。适合任何需要管理多模型、在意成本与治理的开发团队。
主要功能
- 用统一 OpenAI 格式呼叫 100 多家 LLM
- 可当 Python SDK 或部署成 Proxy 闸道
- 内建成本追踪、负载平衡与容错
- 支援护栏与集中日志治理
- 开源,出自 YC 投资的 BerriAI
优点
- 换模型免改程式码,避免供应商绑死
- 成本追踪让 LLM 帐单透明可控
- 开源且社群活跃,接受度高
缺点
- 部署 Proxy 与调校需要一定维运能力
- 治理功能完整但设定有学习曲线
- 纯前端或非技术使用者用不到
使用场景
- 在多家模型之间自由切换与比较
- 部署统一闸道集中管金钥与预算
- 为多团队提供共用的 LLM 入口
- 在正式环境做负载平衡与容错备援
编辑点评
多模型时代,把抽象层做好的闸道几乎是必需品,LiteLLM 是这块开源界的标竿选择,成本追踪尤其实用。要享受治理功能就得付出部署维运的代价。我们给 4.4 分。
常见问题
LiteLLM 怎么支援这么多家模型?
它把各家 API 抽象成统一的 OpenAI 格式,你用同一套呼叫方式,底层由 LiteLLM 转译到对应供应商,换模型几乎不用改程式。
SDK 跟 Proxy 差在哪?
SDK 是在你程式里直接 import 使用;Proxy 是部署成独立伺服器当团队共用入口,集中做成本、配额与日志治理。
相关 AI 工具
Claude
Anthropic 推出、擅长长文与安全对话的 AI 助理。
Humyn Labs
自製雙鏡頭頭戴設備錄下真人在家做家事的第一人稱影片,加上語音、IMU 與握力;經十道品質關卡、四道處理、人工複檢後,輸出 21 點手部關鍵點、深度、動作切分等標註,格式有 MCAP、RLDS、LeRobot v3、ROS Bag
AgentRun
把代理執行包上一層:每次跑完把重複的步驟提成技能或工作流程,經過檢查與評分才採用;跑到一半伺服器掛掉也能從存檔接著跑,再加上一個主控台管理所有代理、執行紀錄與花費上限
LexiCAD
用平常交代設計師的方式寫下尺寸與用途,代理會自己追問細節、建模、量測並修到符合規格,輸出可再編輯的 STEP,以及 STL、3MF、DXF 與 Bambu Lab 可用的切片檔;也會顧到壁厚、懸空與列印方向
HarnessRouter
產品要內建 AI 代理時不必自己養執行環境:同一支 API 就能切換 Claude Code、Codex、Hermes、Qwen Code 等框架,每個任務有獨立沙盒、可延續的工作階段、完整追蹤,還有跨框架共用的長期記憶 Harness Memory
Foxpit
在一個 3D 辦公室介面裡同時跑多個程式代理,隊長 Fox 拆任務、各自在 Git worktree 工作,額度用完會自動暫停並在重置後接著做,記憶以 Markdown 存在專案裡,程式碼不離開你的電腦