Uma ferramenta abrangente de benchmarking de OCR multimodelo que avalia Claude, Gemini e PaddleOCR usando pontuação difusa no nível da linha e relatórios automatizados.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install ocr-benchmark
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o ocr-benchmark usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é OCR Benchmark?
OCR Benchmark é um utilitário especializado dentro do ecossistema Openclaw Skills projetado para trazer rigor empírico às tarefas de reconhecimento óptico de caracteres. Ele permite que os desenvolvedores testem imagens simultaneamente em vários modelos de alto desempenho, incluindo Claude (Opus, Sonnet, Haiku), Gemini (Pro, Flash) e PaddleOCR, para determinar qual mecanismo oferece a melhor precisão para tipos de documentos específicos.
Ao ir além da simples extração de texto, esta ferramenta fornece uma estrutura estruturada para avaliar a qualidade do OCR, a relação custo-benefício e a latência. Ela atende especificamente às necessidades de desenvolvedores que trabalham com layouts complexos, como embalagens de produtos ou documentos densos, garantindo que a seleção do modelo seja baseada em classificações baseadas em dados, em vez de suposições.
Casos de uso do OCR Benchmark
- Comparar a precisão do OCR entre vários provedores de LLM usando uma única interface.
- Avaliar a relação custo-desempenho de diferentes níveis de modelo para processamento de alto volume.
- Testar a confiabilidade de novos modelos de visão em conjuntos de dados de imagens existentes.
- Gerar relatórios profissionais em PPT para demonstrar a qualidade do OCR às partes interessadas.
- Pontuar a extração de texto em chinês e inglês em embalagens de varejo complexas.
Como o OCR Benchmark funciona
- Colete e organize arquivos de imagem locais em formatos como JPG, PNG ou WEBP.
- Execute o script de benchmarking que faz interface com provedores como AWS Bedrock e Google AI Studio para extrair texto.
- Crie ou forneça um arquivo JSON de ground truth representando o texto correto verificado para cada imagem.
- Execute o mecanismo de pontuação para aplicar a correspondência difusa no nível da linha usando a distância de edição de Levenshtein.
- Revise a saída classificada no terminal ou gere um relatório abrangente em PowerPoint para análise final.
Configuração do OCR Benchmark
Navegue até o diretório do skill e instale as dependências Python necessárias:
cd ~\/.openclaw\/workspace\/skills\/ocr-benchmark\/ocr-benchmark
pip install -r requirements.txt
Configure suas variáveis de ambiente para os provedores específicos que deseja testar:
export AWS_REGION=us-west-2
export GOOGLE_API_KEY=your_google_key
export PADDLEOCR_ENDPOINT=https:\/\/your-endpoint
Esquema de Dados e Taxonomia de OCR Benchmark
O skill gera arquivos JSON estruturados para cada extração e comparação. As principais saídas de dados incluem:
| Tipo de Arquivo | Descrição |
|---|---|
{image}.{model}.json |
Resultados individuais de extração, incluindo texto, latência e uso de token. |
scores.json |
Dados de pontuação agregados comparando as saídas do modelo com o ground truth. |
report.pptx |
Resultados de benchmark visualizados prontos para apresentação. |
Cada JSON de extração inclui metadados como latency_seconds, input_tokens e output_tokens para facilitar a análise de custos.
Recursos avançados do OCR Benchmark
- Lógica de correspondência difusa no nível da linha que leva em conta pequenas diferenças de pontuação e caixa.
- Pulo automático de modelo que permite que o benchmark continue mesmo se as credenciais de API específicas estiverem faltando.
- Modo de execução apenas de pontuação para refinar métricas de precisão sem executar novamente chamadas de API caras.
- Normalização abrangente de texto para remover espaços em branco e símbolos não semânticos comuns para comparações mais limpas.
- Classificação multimodelo que classifica as correspondências como Exact, Close, Partial ou Miss.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
Financial Analysis Agent
Uma habilidade de análise financeira de nível profissional para agentes de AI, projetada para automatizar fluxos de trabalho contábeis complexos e produzir relatórios confiáveis de nível CFO.
Ferramentas Financeiras Eastmoney
Um conjunto abrangente de dados financeiros para triagem de ações, recuperação de notícias e análise de mercado em tempo real em bolsas globais.
Desenvolva Smart Contracts Seguros com OpenZeppelin
Uma habilidade especializada para agentes de AI integrarem padrões de segurança e padrões de tokens auditados da OpenZeppelin em projetos de blockchain.
March Madness AI Bracket Skill
Uma habilidade especializada para agentes de AI preverem, enviarem e gerenciarem chaves de 63 palpites do torneio NCAA March Madness na plataforma maincharacter.enterprises.
Agent Prompt Patterns
Uma coleção de padrões de prompt testados em batalha, projetados para transformar agentes de IA de demos instáveis em sistemas automatizados confiáveis de nível de produção.
John Smart: O Assistente de Análise de Ações Lagosta
Um assistente profissional de seleção de ações com IA que combina análise profunda de mercado com uma filosofia de investimento calma e consciente dos riscos, inspirada na resiliência de uma lagosta.
Apresentou*
