Sponsored by
PoYo.AI
EvalCore
5
0 评价
0 收藏
工具介绍：
AI 行为的离线快照测试
收录时间：
2026年7月24日
月流量：
--
社交媒体&邮箱：
--
SocQ
面向 AI 智能体的社交 API。简单、可靠、可扩展。
APIDot
统一的 AI API 平台，提供低成本、生产级的图像和视频模型集成方案。
PoYo.AI
高并发。稳定 AI API。价格更优。
Verdent
只需几分钟，用大白话构建您的产品
SJolt
图像和视频 AI 生成统一 API
EvalCore 工具信息
什么是EvalCore？
EvalCore 是一个面向 LLM 应用和智能体的单一二进制测试运行器。它允许你用 YAML 定义测试用例和评分器，录制真实运行行为，并在 CI 中离线回放，从而捕获回归。
如何使用 EvalCore？
安装 EvalCore 二进制文件，创建一个 evals.yaml 文件和一个 JSONL 数据集，然后把它指向兼容 OpenAI 的接口、REST 服务或 shell 目标。先对线上系统运行一次以录制回放记录，再在 CI 中结合基线、试跑和评分器回放整套测试。
EvalCore 的核心功能
面向 LLM 应用和智能体的单一二进制测试运行器
基于 YAML 的评测定义和评分器
录制并回放模型调用，实现离线、确定性的 CI 运行
支持兼容 OpenAI、REST、shell 和基于 Trace 的目标
基线检查和回归门禁
模型对比、试跑和报告
本地 SQLite 回放记录存储
支持 OpenTelemetry 和 OpenInference Trace
EvalCore 的使用案例
#1
在每个 Pull Request 上运行 AI 回归测试
#2
在 CI 中离线回放已录制的 LLM 输出，无需 API 密钥
#3
在发布前对比两个模型版本，尤其是在修改提示词或依赖之后
#4
对智能体行为做快照测试，并依据通过率对发布进行门禁控制
来自 EvalCore 的常见问题
什么是 EvalCore？
EvalCore 是怎么避免 AI 测试不稳定的？
EvalCore 支持哪些类型的目标？
CI 里需要 API 密钥吗？
EvalCore 可以比较模型并强制执行门禁吗？
Wollo AI
集 AI 角色聊天与社交于一体的平台：与栩栩如生的 AI 角色对话、设计专属人设，还能作为创作者赚取收益。
立即尝试
AD
EvalCore 评价 (0)
5 满分 5 分
iDox.ai Guardrail
实时 AI 安全护栏，防止敏感数据在 AI 工具、智能助手（Copilots）和自主 AI 智能体（Agents）中泄露。
立即尝试
AD
EvalCore数据分析
EvalCore 网站流量分析
EvalCore 启动嵌入功能
使用网站徽章推动社区对 Toolify 启动的支持。它们很容易嵌入到您的主页或页脚。
Light
Neutral
Dark
复制嵌入代码
如何安装？
社交媒体聆听