









Một cổng AI mã nguồn mở được thiết kế để quản lý nhiều nhà cung cấp LLM như OpenAI, Anthropic, Gemini, Ollama, Mistral và Cohere. Nó cung cấp phân tích tích hợp, các biện pháp bảo vệ, giới hạn tỷ lệ, bộ đệm và điều khiển quản trị. Nó hỗ trợ cả giao diện HTTP và gRPC.
1. Cấu hình tệp Config.toml với các khóa API và cài đặt mô hình của bạn. 2. Chạy container Docker, gắn kết tệp Config.toml. 3. Sử dụng các lệnh curl để thực hiện yêu cầu API đến cổng, chỉ định nhà cung cấp LLM.
Open Source AI Gateway Tên công ty: Open Source AI Gateway .
Liên kết Github Open Source AI Gateway: https://github.com/wx-yz/ai-gateway




28.96%
Lắng nghe mạng xã hội