









一個開源的 AI 閘道,旨在管理多個 LLM 提供者,如 OpenAI、Anthropic、Gemini、Ollama、Mistral 和 Cohere。它提供內建的分析、保護措施、速率限制、快取和管理控制。它支持 HTTP 和 gRPC 介面。
1. 使用 Config.toml 檔案配置你的 API 金鑰和模型設定。 2. 執行 Docker 容器,掛載 Config.toml 檔案。 3. 使用 curl 命令向閘道發送 API 請求,指定 LLM 提供者。
Open Source AI Gateway 公司名稱:Open Source AI Gateway 。
Open Source AI Gateway Github連結:https://github.com/wx-yz/ai-gateway


社群媒體聆聽