LiteLLM
开源的 AI 闸道,用统一的 OpenAI 格式呼叫 100 多家 LLM,内建成本追踪、负载平衡、护栏与日志,可当 Python SDK 用也能部署成团队共用的代理伺服器。
LiteLLM 是什么
LiteLLM 是一套开源的 AI 闸道,解决的是一个很实际的痛:每家 LLM 供应商的 API 格式都不一样,你接了 OpenAI 再想换 Anthropic、Gemini、Bedrock,程式码就得改一轮。LiteLLM 让你用统一的 OpenAI 格式去呼叫超过 100 家供应商,底层怎么换、你的程式码几乎不用动。
它有两种用法。一种是当 Python SDK,直接在程式里 import 进来呼叫;另一种是部署成 Proxy Server(也就是 AI Gateway),变成团队或组织共用的集中服务,所有 LLM 流量都从这里走。后者的好处是成本追踪、负载平衡、护栏、日志这些治理功能都能集中管,不用每个专案各自造轮子。LiteLLM 出自 Y Combinator 投资的 BerriAI,完全开源,在开发者圈接受度很高。
功能特色与适用场景
LiteLLM 最核心的价值是「一个介面打天下」。对于要在多家模型之间切换、做 A/B 测试、或想避免被单一供应商绑死的团队,它把抽象层做好,让你换模型像换设定一样轻松。内建的成本追踪能让你看清楚钱花在哪个专案、哪个模型,这在 LLM 帐单容易失控的当下很重要。
典型场景:公司有多个团队都在用 LLM,你部署一台 LiteLLM Proxy 当统一入口,集中管金钥、配额、预算与日志;或是你在开发阶段想快速比较不同模型的效果,用同一套程式码切来切去。负载平衡与容错机制也让它适合上正式环境,当某家供应商挂了能自动转到备援。适合任何需要管理多模型、在意成本与治理的开发团队。
主要功能
- 用统一 OpenAI 格式呼叫 100 多家 LLM
- 可当 Python SDK 或部署成 Proxy 闸道
- 内建成本追踪、负载平衡与容错
- 支援护栏与集中日志治理
- 开源,出自 YC 投资的 BerriAI
优点
- 换模型免改程式码,避免供应商绑死
- 成本追踪让 LLM 帐单透明可控
- 开源且社群活跃,接受度高
缺点
- 部署 Proxy 与调校需要一定维运能力
- 治理功能完整但设定有学习曲线
- 纯前端或非技术使用者用不到
使用场景
- 在多家模型之间自由切换与比较
- 部署统一闸道集中管金钥与预算
- 为多团队提供共用的 LLM 入口
- 在正式环境做负载平衡与容错备援
编辑点评
多模型时代,把抽象层做好的闸道几乎是必需品,LiteLLM 是这块开源界的标竿选择,成本追踪尤其实用。要享受治理功能就得付出部署维运的代价。我们给 4.4 分。
常见问题
LiteLLM 怎么支援这么多家模型?
它把各家 API 抽象成统一的 OpenAI 格式,你用同一套呼叫方式,底层由 LiteLLM 转译到对应供应商,换模型几乎不用改程式。
SDK 跟 Proxy 差在哪?
SDK 是在你程式里直接 import 使用;Proxy 是部署成独立伺服器当团队共用入口,集中做成本、配额与日志治理。
