自動化された A/B テストと統計分析を通じて、最適な LLM を比較および選択するための高性能フレームワーク。
インストール＆ダウンロード
1. ClawHub CLI
レジストリから直接スキルをインストールする最速の方法です。
npx clawhub@latest install ab-test-framework
2. 手動インストール
スキルフォルダを以下のいずれかの場所にコピーしてください
~/.openclaw/skills/ <project>/skills/ 優先順位：ワークスペース > ローカル > バンドル
3. プロンプトのインストール
このプロンプトをOpenClawにコピーするだけで、自動的にインストールされます。
Clawhubを使って ab-test-framework をインストールして。Clawhubがインストールされていない場合は、先にインストールしてください（npm i -g clawhub）。
ダウンロードをご希望ですか？
ZIPアーカイブで生のスキルファイルを取得します。
A/B テスティングフレームワーク とは？
A/B テスティングフレームワークは、開発者がさまざまな大規模言語モデル（LLM）のパフォーマンスを体系的に評価および比較するために設計された高度なツールです。広範な Openclaw Skills エコシステムの一部として、標準化されたテストプロンプトセットを使用してモデル間の直接対決を可能にします。統計ライブラリを活用することで、特定のタスクに対してどのモデルがより優れたパフォーマンスを発揮するかについてのデータ駆動型の洞察を提供し、AI エージェントが利用可能な最も効果的なバックエンドを使用することを保証します。
OpenClaw Agent Mastery Index から派生したこのスキルは、高複雑度のモデル選択に焦点を当てています。モデルの品質、応答時間、精度に関する経験的なデータを生成することで、チームが逸話的な証拠を超えた判断を下せるようにし、本番環境レベルの AI デプロイメントに欠かせない要素となっています。
A/B テスティングフレームワーク のユースケース
- 特定のプロンプトエンジニアリングタスクに対するモデルのパフォーマンス評価。
- 異なる LLM プロバイダー間のコスト対品質比の比較。
- 本番環境へのデプロイ前に、モデルのアップグレードやファインチューニング版を検証。
- Openclaw Skills エコシステム内での、ニッチなドメイン固有のクエリに対する最も信頼性の高いモデルの特定。
- マルチモデルルーティングアーキテクチャの選択プロセスの自動化。
A/B テスティングフレームワーク の仕組み
- model_a、model_b、および多様なテストプロンプトのセットを指定してフレームワークを初期化します。
- openclaw/llm 依存関係を使用して、両方のモデルに対してプロンプトを同時に実行します。
- 公平で偏りのない比較を確実にするために、両方のモデルエンドポイントから応答を収集して正規化します。
- 統合された統計ライブラリを使用して結果を分析し、パフォーマンスメトリクスと品質スコアを決定します。
- 特定された勝者と選択の信頼スコアを含む詳細な JSON レポートを出力します。
A/B テスティングフレームワーク のセットアップ
このコンポーネントをプロジェクトに統合するには、必要な依存関係がインストールされていることを確認してください。次のコマンドを使用して、Openclaw Skills 開発用の環境をセットアップします。
npm install @openclaw/llm stats-library
インストール後、必要なモデル識別子とテストプロンプトの配列を指定することで、アプリケーションロジック内でスキルを直接呼び出すことができます。
A/B テスティングフレームワーク のデータスキーマとタクソノミー
フレームワークは、テスト間の一貫性と他の Openclaw Skills との容易な統合を確保するために、構造化されたデータスキーマを利用します。出力は次の形式に従います。
| キー | 型 | 説明 |
|---|---|---|
| status | string | テストスイートの実行ステータス |
| details | object | モデルごとの応答と生スコアの詳細な内訳 |
| winner | string | より高いパフォーマンスを達成したモデルの識別子 |
| confidence | number | テスト結果の統計的信頼レベル |
入力パラメータには、model_a（文字列）、model_b（文字列）、および test_prompts（文字列の配列）を含める必要があります。
A/B テスティングフレームワーク の高度な機能
- リアルタイムのテスト結果に基づく自動モデル切り替えのための model-routing-manager との直接統合。
- テストの改ざんを防止するための包括的な監査ログとセキュリティ検証。
- OpenClaw Agent Mastery Index v4.1 で定義されている高複雑度のテストシナリオのサポート。
- 統計的に有意な勝利のみがモデル変更をトリガーするようにする、カスタマイズ可能な信頼しきい値。
- 安全なエンタープライズレベルのテストのための最小権限実行モード。
SKILL.md
ローディング
関連するOpenclawのスキル
Safe Config Workflow
リカバリおよび学習ループを内蔵した、OpenClaw 設定ファイルの変更および検証のための安全な自動化ワークフローです。
セーフ構成ワークフロー
バリデーション、修復プロトコル、学習フィードバックを内蔵し、OpenClaw 構成ファイルを安全に修正するための堅牢な自動化ワークフローです。
ディスク使用量ウォッチャー
ダウンタイムを防止するために、システムパーティション全体のディスク容量と Inode 使用状況を追跡するプロアクティブな監視ツールです。
Comms Hub Bridge
ネットワーク環境全体で AI エージェントがメッセージ、ファイル、および状態情報を交換するための高性能な通信レイヤー。
特徴*
