LiteLLM是一個LLM Gateway（OpenAI代理），旨在管理100多個LLM的身份驗證、負載平衡和費用追蹤，同時保持OpenAI格式。它簡化了來自各種供應商（如OpenAI、Azure、Cohere、Anthropic、Replicate和Google）的LLM API使用過程。LiteLLM為所有LLM API提供一致的輸出和異常處理，並對所有模型進行日誌記錄和錯誤追蹤。它提供如費用追蹤、批次API、保護措施、模型訪問、預算、LLM可觀察性、速率限制、提示管理、S3日誌記錄和通過端點等功能。

我可以用 liteLLM 做什麼？

為開發者提供訪問多個LLM的途徑, 管理不同LLM供應商的支出, 實施LLM回退以提高可靠性, 在組織內標準化LLM API訪問

liteLLM 有discord嗎？

是的，liteLLM 有discord。您可以在此處找到 liteLLM 不一致。

liteLLM discord免費嗎？

是的，liteLLM discord是免費的。但擁有 2 個進階訂閱數。

如何使用 liteLLM 和 on liteLLM 不一致？

透過使用chatGPT格式調用LLM API來使用LiteLLM - completion(model, messages)。它為所有LLM API提供一致的輸出和異常處理。您可以部署LiteLLM開源版本或嘗試LiteLLM企業版以獲得更多功能。加入 liteLLMdiscord，並開始使用 liteLLMdiscord 指令來使用 liteLLMdiscord 功能。