Uma ferramenta de web scraping especializada para agentes de IA que mantém sessões logadas em grandes plataformas usando contextos de navegador persistentes.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install persistent-browser
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o persistent-browser usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é Persistent Browser Scraper?
O Persistent Browser Scraper é um utilitário poderoso projetado para o Openclaw Skills que utiliza o Playwright para manter uma sessão contínua de main-identity. Ao utilizar um diretório de dados de usuário persistente, ele permite que os agentes de IA ignorem as limitações da navegação anônima, permitindo que acessem e extraiam dados de plataformas que normalmente exigem autenticação, como X (Twitter), GitHub e HuggingFace.
A skill foi especificamente projetada para lidar com as complexidades das Single Page Applications (SPAs) modernas. Ela opera em um modo não-headless para garantir a compatibilidade com medidas anti-bot em plataformas como o X, garantindo que o agente de IA receba o conteúdo renderizado completo em vez de páginas em branco ou solicitações de login.
Casos de uso do Persistent Browser Scraper
- Acessar conteúdo privado ou personalizado no GitHub e HuggingFace.
- Monitorar discussões e tendências em tempo real no X/Twitter e Reddit.
- Extrair metadados e transcrições de vídeos do YouTube dentro de um contexto de usuário.
- Automatizar a coleta de dados de competições e conjuntos de dados do Kaggle.
- Pesquisar informações baseadas na web que exigem um estado de login persistente.
Como o Persistent Browser Scraper funciona
- O agente de IA identifica uma solicitação que requer pesquisa na web externa ou acesso a uma plataforma específica.
- O sistema limpa automaticamente qualquer SingletonLock existente no diretório de dados do usuário para evitar conflitos de processo.
- Uma instância do Playwright é iniciada usando o método launch_persistent_context apontando para o perfil main-identity.
- O navegador navega até a URL de destino em uma janela visível (não-headless) para satisfazer os requisitos de renderização específicos da plataforma.
- O script implementa um tempo de espera consciente do contexto (por exemplo, 8000ms para o X) para permitir a hidratação do JavaScript e a renderização da SPA.
- O conteúdo de texto relevante é extraído do DOM e retornado ao agente enquanto o contexto do navegador é fechado com segurança.
Configuração do Persistent Browser Scraper
Para integrar isso à sua biblioteca Openclaw Skills, certifique-se de que o Playwright esteja instalado e seu diretório de perfil local esteja inicializado.
# Install Playwright dependencies
pip install playwright
playwright install chromium
# Ensure the profile directory exists
mkdir -p /home/kncao/.openclaw/browser-profiles/main-identity
# Clear lock files before execution
rm -f /home/kncao/.openclaw/browser-profiles/main-identity/SingletonLock
Esquema de Dados e Taxonomia de Persistent Browser Scraper
A skill gerencia seu estado por meio de uma estrutura de diretório local e segue um esquema de temporização específico para diferentes domínios:
| Platform | Wait Time (ms) | Rendering Type |
|---|---|---|
| X/Twitter | 8000 | React SPA |
| YouTube | 6000 | Lazy Loading |
| GitHub | 3000 | SSR |
| HuggingFace | 5000 | React |
| 6000 | Hybrid SSR/JS | |
| Kaggle | 8000 | React SPA |
Todos os metadados e cookies de sessão são armazenados na pasta main-identity, garantindo estados de login persistentes entre as sessões.
Recursos avançados do Persistent Browser Scraper
- Gerenciamento de identidade persistente via launch_persistent_context para navegação autenticada perfeita.
- Limpeza automática de SingletonLock para garantir alta confiabilidade em ambientes de chamadas múltiplas.
- Configuração de Stealth, incluindo sinalizadores AutomationControlled desativados e argumentos no-sandbox.
- Atrasos de hidratação dinâmica otimizados para as características de desempenho de plataformas web específicas de alto tráfego.
- Modo de execução não-headless especificamente ajustado para ignorar a lógica anti-scraping de página em branco do X/Twitter.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
Exa Research
Uma habilidade avançada de inteligência web que permite que agentes de AI realizem pesquisas fundamentadas, busquem conteúdos de páginas e descubram links semelhantes com alta precisão.
AUSUB Rastreamento de Investimento em Ouro
Uma ferramenta especializada para rastrear as condições do mercado de ETF de Ouro e gerar sugestões de investimento dinâmicas baseadas em regras.
MS Forms Auto
Um mecanismo automatizado de envio de formulários que sincroniza calendários do Outlook e TMS para preencher e enviar automaticamente o Microsoft Forms, mesmo com requisitos de M365 MFA.
Serviço de Adivinhação
Uma plataforma abrangente de divinação e previsão do futuro que fornece análise metafísica profissional usando tradições orientais e ocidentais.
Pesquisa Profunda
A comprehensive 8-phase research framework designed to transform raw data into verified, high-authority reports with professional citations.
Google Workspace Automation
Uma ferramenta de automação abrangente para gerenciar Gmail, Calendar, Drive e Sheets através da estrutura Openclaw Skills.
Apresentou*
