国外 · AI编程工具 / AI智能体工具 / AI开源框架
LiteLLM是什么？LiteLLM使用教程与AI工具介绍
LiteLLM 是开源的多模型 SDK 与 AI 网关，用 OpenAI 兼容接口连接多家模型，并提供路由、重试、虚拟密钥、预算和请求观测。
LiteLLM原创介绍
LiteLLM 适合需要让多个应用、编码智能体或业务团队共用多家模型的开发者和平台团队。它既可作为 Python SDK 直接嵌入应用，也可自托管 Proxy，将上游供应商密钥、模型别名、限额和日志集中管理。它不会自动消除供应商差异，工具调用、多模态、缓存和数据保留仍需逐模型验证。
LiteLLM主要功能
- 用统一接口调用多家商业与开源模型
- 提供自托管 OpenAI 兼容网关与管理界面
- 支持负载均衡、重试、降级和模型别名
- 通过虚拟密钥按用户、团队和项目设置预算
- 集中记录用量、费用、延迟和失败
- 可连接编码智能体、Agent 与 MCP 客户端
LiteLLM适合哪些人
LiteLLM典型使用场景
- 为多个业务系统提供统一模型入口
- 在主模型限流时自动切换备用模型
- 为团队签发有限额的虚拟密钥
- 统计编码Agent和客服Agent的模型成本
- 在更换模型供应商前做镜像流量测试
优点
- 开源且可自托管，较易接入现有应用
- SDK与共享网关两种形态便于渐进式采用
- 路由、预算和可观测功能集中
注意事项
- 统一API不代表不同模型的行为完全一致
- Master Key、Salt Key和上游供应商密钥需用秘密管理系统保护
- 请求日志可能包含敏感提示词与输出，需设置脱敏和保留期
- 重试与降级可能重复执行工具或改变输出质量
- 生产部署需自行负责数据库、高可用、升级和灾备
LiteLLM简明使用教程
- 先用SDK或单节点Proxy连接一个非生产模型。
- 为业务定义稳定的模型别名，不让应用硬编码供应商名称。
- 为每个团队生成独立虚拟密钥并设置限额。
- 配置超时、有界重试和经过评测的备用模型。
- 关闭非必需请求体日志，对保留数据做脱敏和权限隔离。
- 用固定测试集比较直连与网关的成功率、P95延迟、成本和输出一致性。
LiteLLM深度教程
LLM网关的核心价值是建立一个可治理的模型入口。团队应把模型别名、允许供应商、最大输入、预算、日志策略和降级顺序作为可审计配置，而不是让每个应用各自管理密钥。
降级策略必须与评测绑定。备用模型即使API兼容，也可能在JSON结构、工具选择、内容审核和长上下文上表现不同。只有通过相同业务测试集的模型才应进入自动降级链。
LiteLLM和同类工具怎么选
LiteLLM vs OpenRouter
LiteLLM适合自托管统一网关和企业内部权限治理；OpenRouter更像可直接使用的多模型云端路由服务。选择取决于是否要自管上游账号、日志和基础设施。
LiteLLM vs Portkey
LiteLLM突出开源SDK、自托管网关和广泛的供应商适配；Portkey提供托管与开源网关、观测和安全控制。企业应以部署模式、合规、功能版本和总成本做PoC。
LiteLLM常见问题
LiteLLM会代替模型供应商吗？
不会。它是调用和治理层，实际推理仍由云端供应商或自托管模型完成。
LiteLLM可以完全私有化吗？
Proxy可自托管，但调用外部模型时数据仍会发往对应供应商。要做全链路私有化，还需连接本地推理服务并关闭外部观测。
切换模型需要改业务代码吗？
使用网关模型别名可减少改动，但模型参数、工具调用和输出行为差异仍需回归测试。
LiteLLM教程与资料引用
下面资料用于继续学习和核对工具功能，建议以官方说明为准。
深入学习LiteLLM
需要规划企业LLM网关、多模型路由、成本预算和Agent权限治理，可联系 QQ：1732839641。
联系咨询