









EvalCore は、LLM アプリやエージェント向けのシングルバイナリのテストランナーです。YAML でテストケースとスコアラーを定義し、実際の挙動を記録して、CI でオフライン再生して回帰を検出できます。
EvalCore のバイナリをインストールし、evals.yaml ファイルと JSONL データセットを作成したら、OpenAI 互換、REST、またはシェルのターゲットを指定します。まず本番システムに対して 1 回実行してカセットを記録し、その後はベースライン、トライアル、スコアラー付きで CI でスイートを再生します。


ソーシャルリスニング