LiteLLM

简介

Rust 内核开源 AI 网关，OpenAI 格式调用 100+ 家供应商，SDK 与自托管双形态

BerriAI 开源项目（YC W23），官网标语 "The AI Gateway for platform teams"，既有 Python SDK 库也有团队级自托管网关。用 OpenAI 格式统一调用 100+ 家供应商的模型（OpenAI、Anthropic、Gemini、 Bedrock、Azure 等），换供应商不改代码；网关内置虚拟密钥、按 key/team/org 追踪用量花费、预算到顶即停、限流护栏与审计日志。 支持跨供应商负载均衡、最低成本路由与响应缓存，Rust 内核网关 官方基准 P99 附加延迟 0.66 ms（AI Gateway Bench）。面向平台团队， 提供 A2A 与 MCP 协议网关、直跑 Claude Code 等 agent harness， 可用 Docker、Terraform、Helm 部署；开源免费自托管，Enterprise Tier 含 SSO、SLA 与专属支持。GitHub 60.1k stars（2026-10-04）。

界面预览

相关文章

暂无相关文章。