O ClearWeb fornece aos agentes de IA acesso irrestrito e desbloqueado a toda a web pública por meio de uma Bright Data CLI integrada.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install clearweb
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o clearweb usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é ClearWeb?
O ClearWeb é uma ponte poderosa entre agentes de IA e a web ao vivo, substituindo ferramentas nativas frágeis como web_fetch ou curl pela robusta infraestrutura Bright Data. Ao utilizar Openclaw Skills integradas com a CLI bdata, os agentes podem contornar CAPTCHAs, lidar com renderização complexa de JavaScript e rotacionar proxies automaticamente para garantir 100% de confiabilidade na recuperação de dados.
Esta skill foi projetada para agentes de IA baseados em terminal que precisam realizar tarefas do mundo real, como monitorar concorrentes, coletar leads ou ler documentação de sites que normalmente empregam pesadas medidas anti-bot. Ela transforma a web em um banco de dados consultável, fornecendo Markdown limpo ou JSON estruturado em vez de HTML bruto e ruidoso.
Casos de uso do ClearWeb
- Pesquisa de Mercado: Pesquise no Google, Bing e Yandex para coletar inteligência competitiva e dados de monitoramento de preços.
- Geração de Leads: Extraia dados profissionais estruturados diretamente de plataformas como LinkedIn, Amazon e Crunchbase.
- Agregação de Conteúdo: Raspe artigos de notícias, documentação ou feeds de redes sociais enquanto contorna paywalls e bloqueios anti-scraping.
- Monitoramento de Redes Sociais: Acompanhe o engajamento e o sentimento extraindo comentários e dados de perfil do Instagram, TikTok e YouTube.
- Documentação Técnica: Leia e sintetize informações de sites de documentação com muito JS, como Docusaurus ou GitBook.
Como o ClearWeb funciona
- Inicialização da Requisição: O agente de IA identifica a necessidade de informações externas (pesquisa, raspagem ou extração de dados específica).
- Seleção de Comando: Com base em uma árvore de decisão integrada, o agente seleciona entre
bdata searchpara descoberta,bdata pipelinespara plataformas conhecidas oubdata scrapepara URLs genéricos. - Bypass Automatizado: A rede Bright Data lida com rotação de proxy, segmentação geográfica e resolução de CAPTCHA na nuvem.
- Normalização de Dados: A ferramenta processa o conteúdo da web e o retorna em um formato otimizado para LLMs, como Markdown limpo ou JSON estruturado.
- Sintetização: O agente de IA recebe os dados limpos para realizar análise, comparação ou relatório.
Configuração do ClearWeb
Primeiro, certifique-se de que a Bright Data CLI está instalada em seu sistema:
# Instalar via curl para macOS / Linux
curl -fsSL https://cli.brightdata.com/install.sh | bash
# Ou instalar via npm
npm install -g @brightdata/cli
Em seguida, realize uma autenticação única para vincular sua conta e configurar automaticamente as zonas de proxy:
bdata login
Verifique se sua configuração está ativa:
bdata config
Esquema de Dados e Taxonomia de ClearWeb
O ClearWeb organiza os dados em três tipos principais de saída para garantir a compatibilidade com diferentes fluxos de trabalho de agentes:
| Tipo de Dado | Descrição | Formato |
|---|---|---|
| Dados SERP | Resultados orgânicos, anúncios e 'As pessoas também perguntam' de mecanismos de busca. | JSON |
| Conteúdo Raspado | Texto de página da web limpo, sem clichês. | Markdown / HTML |
| Objetos Pipeline | Esquema tipado e específico da plataforma (ex: Produto Amazon, Perfil LinkedIn). | JSON / CSV |
| Evidência Visual | Capturas de tela de página inteira para verificação visual. | PNG |
Metadados como status do trabalho, IDs de trabalho para tarefas assíncronas e orçamento restante da conta podem ser consultados por meio dos comandos bdata status e bdata budget.
Recursos avançados do ClearWeb
- Segmentação Geográfica: Acesse a web como se estivesse em um país específico usando a flag
--country. - Processamento Assíncrono: Lide com tarefas pesadas de raspagem ou grandes lotes sem bloquear o loop primário do agente usando
--async. - Extratores Pré-construídos: Acesse mais de 40 pipelines especializados para as principais plataformas sociais e de e-commerce.
- Arquitetura Amigável a Pipes: Integre-se perfeitamente com outras ferramentas CLI como
jqouxargspara fluxos de trabalho complexos de processamento de dados. - Gerenciamento Automatizado de Zonas: Cria e gerencia automaticamente as zonas
cli_unlockerecli_browserapós o login.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
YouTube Summary Skill
Um utilitário automatizado para extrair transcrições do YouTube e gerar resumos estruturados e multilíngues diretamente no seu fluxo de trabalho de agente de AI.
Context Loader
Uma habilidade avançada de carregamento de contexto que recupera redes de conhecimento de negócios, instâncias de objetos e relacionamentos de subgrafos para agentes de IA.
PDF Studio
Um mecanismo de documentos de nível profissional para criar PDFs de alta fidelidade e prontos para impressão com controle de layout avançado e suporte multilíngue.
Central Intelligence
O Central Intelligence fornece uma camada de memória persistente de longo prazo para agentes de AI lembrarem de fatos e recordá-los entre sessões via busca semântica.
Daily News Brief
Uma ferramenta automatizada de agregação de notícias e resumos por IA que entrega briefings diários personalizados para plataformas de mensagens.
doc-converter
Um conversor de documentos de alta fidelidade para transições perfeitas entre os formatos Word, PDF, Markdown e HTML.
Apresentou*
