Webclaw é uma ferramenta avançada de web scraping, crawling e pesquisa otimizada para LLMs que ignora facilmente proteções contra bots e analisa sites JavaScript dinâmicos.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install webclaw-extraction
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o webclaw-extraction usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é Webclaw?
Webclaw é um motor de extração web de última geração projetado especificamente para grandes modelos de linguagem e agentes autônomos. Como um dos mais poderosos Openclaw Skills, ele atua como um substituto robusto para motores básicos de busca web, lidando sem esforço com sites que possuem proteções agressivas contra bots, CAPTCHAs ou renderização pesada de JavaScript no lado do cliente.
Ao converter páginas web brutas em Markdown limpo e estruturado, texto ou JSON otimizado para LLM, o Webclaw permite que os desenvolvedores forneçam dados de alta fidelidade diretamente aos seus agentes. Ele apresenta um rico conjunto de ferramentas, incluindo crawling profundo, mapeamento de sites, extração de marca visual, detecção de mudanças e scrapers verticais especializados para as principais plataformas.
Casos de uso do Webclaw
- Quando ferramentas de busca padrão retornam resultados vazios ou erros 403 Forbidden devido a softwares de detecção de bots.
- Ignorar etapas de renderização JavaScript para extrair aplicativos de página única (SPAs) nativamente.
- Extrair esquemas JSON limpos e estruturados (tabelas de preços, catálogos de produtos, avaliações) sem escrever parsers personalizados.
- Obter insights sobre backends de destino digitalizando bundles de Javascript front-end em busca de API, GraphQL ou endpoints WebSocket ocultos.
- Configurar monitoramento web em tempo real e gatilhos de notificação de alteração via cron jobs e webhooks.
- Conduzir pesquisas acadêmicas ou de mercado profundas e de várias fontes automaticamente com loops de agentes.
Como o Webclaw funciona
- Solicitação de Entrada: O agente ou aplicativo inicia uma solicitação de scrape, crawl ou mapa para a API do Webclaw usando o cliente padrão ou a configuração de Openclaw Skills.
- Avaliação de Rota: O Webclaw avalia a URL de destino. Se corresponder a um de seus 28 padrões de extratores verticais (como GitHub, Reddit, ArXiv, Amazon), ele roteia a solicitação instantaneamente para um extrator dedicado de alta eficiência.
- Bypass de Bot e Renderização: Se a URL for genérica, o Webclaw passa a solicitação através de seu sistema automático de bypass de proteção contra bots e navegador headless para lidar com a hidratação de JavaScript.
- Limpeza e Formatação: O pipeline de otimização de 20 etapas remove marcações desnecessárias, barras laterais e rastreadores para construir saídas limpas em Markdown, texto simples, JSON ou uma representação otimizada para LLM.
- Entrega de Resposta: O payload estruturado, completo com metadados e parâmetros de cache, é entregue de volta ao processo de chamada.
Configuração do Webclaw
Configure o Webclaw como parte do seu kit de ferramentas para Openclaw Skills instalando a ferramenta CLI e configurando suas credenciais.
Instalação
npx create-webclaw
Configuração
O Webclaw requer uma API key para acessar recursos de nuvem, como bypass de proteção contra bots e pesquisas profundas. Defina sua variável de ambiente:
export WEBCLAW_API_KEY="your_api_key_here"
Esquema de Dados e Taxonomia de Webclaw
O Webclaw estrutura os resultados da extração em esquemas claros e analisáveis, dependendo do endpoint escolhido. Abaixo está a estrutura de resposta JSON para uma solicitação de Scrape padrão de página única:
| Campo | Tipo | Descrição |
|---|---|---|
url |
string | O endereço da página web solicitado. |
metadata |
object | Contém título, descrição da página, idioma original e contagem de palavras. |
markdown |
string | Extração em Markdown limpa do conteúdo principal do artigo. |
llm |
string | Formato otimizado com referências de URL especificamente para modelos de IA. |
antibot |
object | Diagnósticos indicando se o bypass anti-bot foi acionado e o tempo de execução. |
youtube |
object | Bloco de metadados opcional preenchido apenas durante o scraping de vídeos do YouTube (inclui transcrições). |
Para extrações de dados personalizadas usando esquemas, o Webclaw garante a conformidade com o esquema JSON estruturado fornecido no corpo da sua solicitação POST.
Recursos avançados do Webclaw
- Camada de Compatibilidade Firecrawl v2: Substituição direta de endpoint, permitindo que sistemas existentes que usam Firecrawl migrem perfeitamente para o Webclaw.
- Pesquisa Profunda de Múltiplas Fontes: Iterações de agentes autônomos (ciclos de busca-leitura-análise) que sintetizam relatórios abrangentes de até 100 fontes.
- Wrapper CLI Local-First: Uma abordagem híbrida que executa buscas locais gratuitas para páginas HTML padrão e recorre à API de Nuvem apenas quando a detecção de bot é acionada.
- Descoberta de Endpoint JavaScript: Digitaliza scripts inline e bundles de origem para mapear automaticamente caminhos relativos, WebSockets e rotas de API GraphQL.
- Análise de Identidade Visual: Extrai identificadores de marca do site, como uso de família de fontes, vetores de logotipo, favicons e cores hexadecimais primárias.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
Affiliate Content Writer
Um escritor de conteúdo de affiliate baseado em AI otimizado para criar avaliações, guias e listas de alta conversão para JD Union, Taobao Alliance e Duoduo Jinbao.
eBook & Template Factory
Uma skill de agente de AI projetada para gerar eBooks, templates e produtos digitais prontos para o mercado, otimizados para monetização em marketplaces digitais chineses populares.
Huawei Cloud SWR Image Management
Uma ferramenta avançada de automação de gerenciamento de repositório de imagens de contêiner integrada sobre a hcloud CLI para o Huawei Cloud SWR.
Huawei Cloud UCS Cluster Onboarding Manager
Uma habilidade de orquestração de nível empresarial para gerenciar o ciclo de vida de ponta a ponta, a organização de frotas e o provisionamento seguro de credenciais de clusters do Huawei Cloud UCS por meio da execução automatizada de CLI.
Vendedor Automático de Produtos Virtuais Xianyu
Um kit de ferramentas impulsionado por AI projetado para automatizar e otimizar totalmente os fluxos de trabalho de criação, listagem e resposta ao cliente para produtos virtuais no mercado Xianyu.
Extrator de Comentários de Posts do Instagram
Uma poderosa capacidade do Openclaw Skills projetada para fazer scraping de comentários paginados, nomes de usuário, carimbos de data/hora e métricas de reação de qualquer post do Instagram.
WeChat Content Generator
Um motor de geração de conteúdo alimentado por IA, projetado para criar artigos de alta conversão, virais e planos de conteúdo otimizados para o ecossistema da Conta Oficial do WeChat.
METADATA
Apresentou*
