









LiteLLM ist ein LLM-Gateway (OpenAI-Proxy), das die Authentifizierung, Lastenausgleich und Ausgabeverfolgung über 100+ LLMs verwaltet, während es das OpenAI-Format beibehält. Es vereinfacht den Zugriff auf LLM-APIs von verschiedenen Anbietern wie OpenAI, Azure, Cohere, Anthropic, Replicate und Google. LiteLLM bietet konsistente Ausgaben und Ausnahmen für alle LLM-APIs sowie Protokollierung und Fehlerverfolgung für alle Modelle. Es bietet Funktionen wie Kostenverfolgung, Batch-API, Schutzmechanismen, Modellzugriff, Budgets, LLM-Observabilität, Ratenbegrenzung, Prompt-Management, S3-Protokollierung und Durchreichend-Endpunkte.
Verwenden Sie LiteLLM, indem Sie LLM-APIs im chatGPT-Format aufrufen - completion(model, messages). Es bietet konsistente Ausgaben und Ausnahmen für alle LLM-APIs. Sie können LiteLLM Open Source bereitstellen oder LiteLLM Enterprise für weitere Funktionen ausprobieren.
Hier ist der LiteLLM Discord: https://discord.com/invite/wuPM9dRgDw. Für weitere Discord-Nachrichten klicken Sie bitte hier(/de/discord/wupm9drgdw).
LiteLLM Github link: https://github.com/BerriAI/litellm

Open Source
$0
Kostenlos
Enterprise
Kontakt für Preisinformationen
Für den Zugriff auf eine große Anzahl von Entwicklern und Projekten. Beinhaltet Unternehmenssupport, benutzerdefinierte SLAs, JWT-Authentifizierung, SSO und Audit-Protokolle.




Von Genevieve am Mai 22 2024
Master LLM Training: 15 Expertentipps für den Erfolg im Jahr 2023!
Social Media Listening