EvalCore

5
0 評價
0 收藏
工具介紹:
AI 行為的離線快照測試
收錄時間:
2026年7月24日
月流量:
--
社群媒體&信箱:
--
EvalCore產品資訊

EvalCore 是什麼?

EvalCore 是一個單一執行檔的 LLM 應用與 AI 代理測試執行器。它讓你可以用 YAML 定義測試案例與評分器,記錄即時行為,並在離線的 CI 裡重播,以抓出回歸。

如何使用EvalCore?

安裝 EvalCore 執行檔,建立 evals.yaml 檔案與一個 JSONL 資料集,接著把它指向支援 OpenAI 相容、REST 或 shell 的目標。先對實際系統執行一次來錄製 cassette,然後在 CI 中搭配基準、試跑與評分器重播整個測試套件。

EvalCore的核心功能

單一執行檔的 LLM 應用與 AI 代理測試執行器

以 YAML 定義評測與評分器

記錄並重播模型呼叫,實現離線、可重現的 CI 執行

支援 OpenAI 相容、REST、shell 與追蹤式目標

基準檢查與回歸門檻控管

模型比較、試跑與報表

本機 SQLite 錄製檔儲存

OpenTelemetry 與 OpenInference 追蹤支援

EvalCore 的用例

#1

在每個 Pull Request 上執行 AI 回歸測試

#2

在 CI 中離線重播已錄製的 LLM 輸出,不需要 API 金鑰

#3

在發佈 prompt 或依賴項變更前,比較兩個模型版本

#4

以快照測試代理行為,並根據通過率管控發布

來自 EvalCore 的常見問題解答

什麼是 EvalCore?

EvalCore 如何避免不穩定的 AI 測試?

EvalCore 支援哪些類型的目標?

在 CI 裡需要 API 金鑰嗎?

EvalCore 可以比較模型並強制執行門檻嗎?

EvalCore 評論 (0)

5 分,滿分 5 分
您會推薦EvalCore嗎?
0/10000

分析EvalCore

EvalCore 網站流量分析

最新網站流量

月訪問量
--
平均訪問時長
00:00:00
每次訪問頁數
0.00
跳出率
0.00%
Apr 2026 - Jun 2026 所有網站流量

社群媒體聆聽

EvalCore 啟動嵌入

使用網站徽章來推動社區對 Toolify 發布的支持。 它們很容易嵌入您的主頁或頁腳。

Light
Neutral
Dark
EvalCore: AI 行為的離線快照測試
複製嵌入代碼
如何安裝?