适用于 Openclaw 的 OCR Benchmark

一个全面的多模型 OCR 基准测试工具,使用模糊行级评分和自动报告来评估 Claude, Gemini, 和 PaddleOCR。

yingfengli
v2.0.0
2026年3月15日
0
886
0

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install ocr-benchmark

2. 手动安装

将技能文件夹复制到以下位置之一

全局模式
~/.openclaw/skills/
工作区
<project>/skills/

优先级:工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

请帮我使用 Clawhub 安装 ocr-benchmark。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

什么是 OCR Benchmark?

OCR Benchmark 是 Openclaw Skills 生态系统中的一个专门实用工具,旨在为光学字符识别任务带来实证严谨性。它允许开发人员同时针对各种高性能模型(包括 Claude (Opus, Sonnet, Haiku), Gemini (Pro, Flash) 和 PaddleOCR)测试图像,以确定哪种引擎对特定文档类型提供最佳准确度。

通过超越简单的文本提取,该工具提供了一个评估 OCR 质量、成本效益和延迟的结构化框架。它专门解决了处理复杂布局(如产品包装或密集文档)的开发人员的需求,确保模型选择基于数据驱动的排名而非假设。

OCR Benchmark 应用场景

  • 使用单一界面比较多个 LLM 供应商的 OCR 准确度。
  • 评估不同模型层级在大批量处理中的成本性能比。
  • 在现有图像数据集上测试新视觉模型的可靠性。
  • 生成专业的 PPT 报告,向利益相关者展示 OCR 质量。
  • 对复杂零售包装上的中英文文本提取进行评分。

OCR Benchmark 工作原理

  1. 收集并整理 JPG、PNG 或 WEBP 等格式的本地图像文件。
  2. 运行基准测试脚本,该脚本与 AWS Bedrock 和 Google AI Studio 等供应商接口以提取文本。
  3. 创建或提供一个 ground truth JSON 文件,代表每个图像经过验证的正确文本。
  4. 执行评分引擎,使用 Levenshtein 编辑距离应用模糊行级匹配。
  5. 查看排名的终端输出或生成一份全面的 PowerPoint 报告用于最终分析。

OCR Benchmark 配置指南

导航到技能目录并安装必要的 Python 依赖项:

cd ~\/.openclaw\/workspace\/skills\/ocr-benchmark\/ocr-benchmark
pip install -r requirements.txt

为您希望进行基准测试的特定供应商配置环境变量:

export AWS_REGION=us-west-2
export GOOGLE_API_KEY=your_google_key
export PADDLEOCR_ENDPOINT=https:\/\/your-endpoint

OCR Benchmark 数据架构与分类体系

该技能为每次提取和比较生成结构化的 JSON 文件。主要数据输出包括:

文件类型 描述
{image}.{model}.json 包含文本、延迟和 token 使用情况的单个提取结果。
scores.json 将模型输出与 ground truth 进行比较的汇总评分数据。
report.pptx 准备好演示的可视化基准测试结果。

每个提取 JSON 都包含诸如 latency_seconds、input_tokens 和 output_tokens 等元数据,以方便成本分析。

OCR Benchmark 高级特性

  • 考虑了微小标点符号和大小写差异的模糊行级匹配逻辑。
  • 自动模型跳过功能,即使缺少特定的 API 凭据,基准测试也可以继续。
  • 仅评分执行模式,无需重新运行昂贵的 API 调用即可优化准确度指标。
  • 对文本进行全面规范化,去除空格和常见的非语义符号,以便进行更清晰的比较。
  • 多模型排名,将匹配分类为 Exact、Close、Partial 或 Miss。

SKILL.md


加载中

Openclaw 相关技能

METADATA

Github Stars: 0
forks: 0

精选*