5
0 Avaliações
0 Salvo
Introdução:
Testes snapshot offline para comportamento de IA
Adicionado em:
Jul 24 2026
Visitantes mensais:
--
Social e e-mail:
--
EvalCore Informações do produto

O que é EvalCore?

O EvalCore é um executor de testes num único binário para aplicações e agentes LLM. Permite definir casos de teste e avaliadores em YAML, registar o comportamento em tempo real e reproduzi-lo offline em CI para detetar regressões.

Como usar EvalCore?

Instale o binário do EvalCore, crie um ficheiro evals.yaml e um dataset JSONL, e depois aponte-o para um alvo compatível com OpenAI, REST ou shell. Execute-o uma vez no sistema real para gravar uma cassete e, em seguida, reproduza a suite em CI com baselines, execuções de teste e avaliadores.

Principais recursos da EvalCore

Executor num único binário para aplicações e agentes LLM

Definições de avaliação e avaliadores baseadas em YAML

Grave chamadas do modelo e reproduza-as com execuções offline determinísticas em CI

Suporte para alvos compatíveis com OpenAI, REST, shell e baseados em traces

Verificações de linha de base e bloqueio de regressões

Comparações de modelos, execuções de teste e relatórios

Armazenamento local de cassetes em SQLite

Suporte para traces OpenTelemetry e OpenInference

Casos de uso da EvalCore

#1

Executar testes de regressão de IA em cada pull request

#2

Reproduzir saídas LLM gravadas offline em CI sem chaves de API

#3

Comparar duas versões do modelo antes de lançar uma alteração no prompt ou numa dependência

#4

Testar em snapshot o comportamento do agente e bloquear lançamentos com base na taxa de aprovação

Perguntas frequentes de EvalCore

O que é o EvalCore?

Como é que o EvalCore evita testes de IA instáveis?

Que tipos de alvos o EvalCore suporta?

Preciso de chaves de API no CI?

O EvalCore consegue comparar modelos e impor gates?

Avaliações de EvalCore (0)

5 ponto em 5 pontos
Você recomendaria EvalCore?Deixe um comentário
0/10000

Análise de EvalCore

EvalCore Análise de tráfego do site

Tráfego mais recente do website

Visitas mensais
--
Duração média da visita
00:00:00
Páginas por visita
0.00
Taxa de salto
0.00%
Apr 2026 - Jun 2026 Todo o tráfego do website

Escuta de mídias sociais

EvalCore Iniciar incorporações

Use os emblemas do site para obter o apoio de sua comunidade para o lançamento do Toolify. Eles são fáceis de incorporar em sua página inicial ou rodapé.

Light
Neutral
Dark
EvalCore: Testes snapshot offline para comportamento de IA
Copiar código de incorporação
Como instalar?