









LiteLLM是一个大型语言模型(LLM)网关(OpenAI代理),旨在管理身份验证、负载均衡和支出追踪,支持超过100个LLM,同时保持OpenAI格式。它简化了来自OpenAI、Azure、Cohere、Anthropic、Replicate和Google等多个提供商的LLM API的使用过程。LiteLLM为所有LLM API提供一致的输出和异常处理,并记录和跟踪所有模型的错误。它提供了如成本追踪、批处理API、保护机制(guardrails)、模型访问、预算管理、LLM可观测性、速率限制、提示管理、S3日志记录和直通端点等功能。
通过使用chatGPT格式调用LLM API来使用LiteLLM - completion(model, messages)。它为所有LLM API提供一致的输出和异常处理。您可以选择开源部署LiteLLM,或尝试LiteLLM企业版以获取更多功能。
这个是 LiteLLM Discord的链接: https://discord.com/invite/wuPM9dRgDw. 更多 Discord 信息, 请点击 discord链接(/zh/discord/wupm9drgdw).
LiteLLM Github链接: https://github.com/BerriAI/litellm

开源版
$0
免费
企业版
联系方式获取报价
为大量开发者和项目提供LLM访问。包括企业支持、自定义服务级别协议(SLA)、JWT身份验证、单点登录(SSO)和审计日志。

社交媒体聆听