LLM Gateway

LLM Gateway이란 무엇인가요?

LLM 게이트웨이는 사용자가 통합 API 인터페이스를 사용하여 여러 공급업체에 걸쳐 대형 언어 모델(LLM) 요청을 라우팅, 관리 및 분석할 수 있도록 하는 플랫폼입니다. 완전한 오픈 소스이며, 기존 OpenAI API 형식과 호환되어 원활한 통합을 지원합니다.

LLM Gateway을 어떻게 사용하나요?

LLM 게이트웨이를 사용하려면, 사용자는 기존 API 엔드포인트를 `https://api.llmgateway.io/v1`로 변경하고 자신의 LLM 게이트웨이 API 키를 사용하기만 하면 됩니다. OpenAI API 형식과 호환되어 다양한 언어 및 프레임워크(예: Python, TypeScript, Next.js, Java, Rust, Go, PHP, Ruby)의 기존 코드와 원활하게 마이그레이션하고 통합할 수 있습니다. 그런 다음 LLM 게이트웨이가 요청을 적절한 공급자에게 라우팅하면서 사용량 및 성능을 추적합니다.

LLM Gateway의 핵심 기능

LLM Gateway의 사용 사례

LLM Gateway의 FAQ