Una herramienta de web scraping especializada para agentes de IA que mantiene sesiones iniciadas en las principales plataformas utilizando contextos de navegador persistentes.
Instalar y Descargar
1. ClawHub CLI
La forma más rápida de instalar una habilidad directamente desde el registro.
npx clawhub@latest install persistent-browser
2. Instalación manual
Copia la carpeta de la habilidad a una de estas ubicaciones
~/.openclaw/skills/ <project>/skills/ Prioridad: Espacio de trabajo > Local > Integrado
3. Instalación del prompt
Copia este prompt en OpenClaw para instalarlo automáticamente.
Ayúdame a instalar persistent-browser usando Clawhub. Si Clawhub no está instalado, instálalo primero (npm i -g clawhub).
¿Prefieres descargar?
Obtén los archivos originales de la habilidad en un archivo ZIP.
¿Qué es Persistent Browser Scraper?
Persistent Browser Scraper es una potente utilidad diseñada para Openclaw Skills que aprovecha Playwright para mantener una sesión continua de main-identity. Al utilizar un directorio de datos de usuario persistente, permite que los agentes de IA eludan las limitaciones de la navegación anónima, permitiéndoles acceder y extraer datos de plataformas que normalmente requieren autenticación, como X (Twitter), GitHub y HuggingFace.
La skill está diseñada específicamente para manejar las complejidades de las aplicaciones de página única (SPAs) modernas. Funciona en modo no-headless para asegurar la compatibilidad con las medidas anti-bot en plataformas como X, garantizando que el agente de IA reciba el contenido renderizado completo en lugar de páginas en blanco o avisos de inicio de sesión.
Casos de uso de Persistent Browser Scraper
- Acceder a contenido privado o personalizado en GitHub y HuggingFace.
- Monitorear discusiones y tendencias en tiempo real en X/Twitter y Reddit.
- Extraer metadatos y transcripciones de vídeos de YouTube dentro de un contexto de usuario.
- Automatizar la recopilación de datos de competiciones y conjuntos de datos de Kaggle.
- Investigar información basada en la web que requiere un estado de inicio de sesión persistente.
Cómo funciona Persistent Browser Scraper
- El agente de IA identifica una solicitud que requiere una búsqueda web externa o acceso a una plataforma específica.
- El sistema borra automáticamente cualquier SingletonLock existente en el directorio de datos del usuario para evitar conflictos de procesos.
- Se lanza una instancia de Playwright utilizando el método launch_persistent_context apuntando al perfil main-identity.
- El navegador navega a la URL de destino en una ventana visible (no-headless) para satisfacer los requisitos de renderizado específicos de la plataforma.
- El script implementa un tiempo de espera consciente del contexto (por ejemplo, 8000ms para X) para permitir la hidratación de JavaScript y el renderizado de la SPA.
- El contenido de texto relevante se extrae del DOM y se devuelve al agente mientras el contexto del navegador se cierra de forma segura.
Configuración de Persistent Browser Scraper
Para integrar esto en su biblioteca Openclaw Skills, asegúrese de que Playwright esté instalado y que su directorio de perfil local esté inicializado.
# Install Playwright dependencies
pip install playwright
playwright install chromium
# Ensure the profile directory exists
mkdir -p /home/kncao/.openclaw/browser-profiles/main-identity
# Clear lock files before execution
rm -f /home/kncao/.openclaw/browser-profiles/main-identity/SingletonLock
Esquema de datos y taxonomía de Persistent Browser Scraper
La skill gestiona su estado a través de una estructura de directorio local y sigue un esquema de temporización específico para diferentes dominios:
| Platform | Wait Time (ms) | Rendering Type |
|---|---|---|
| X/Twitter | 8000 | React SPA |
| YouTube | 6000 | Lazy Loading |
| GitHub | 3000 | SSR |
| HuggingFace | 5000 | React |
| 6000 | Hybrid SSR/JS | |
| Kaggle | 8000 | React SPA |
Todos los metadatos y las cookies de sesión se almacenan en la carpeta main-identity, lo que garantiza estados de inicio de sesión persistentes en todas las sesiones.
Funciones avanzadas de Persistent Browser Scraper
- Gestión de identidad persistente mediante launch_persistent_context para una navegación autenticada fluida.
- Limpieza automática de SingletonLock para garantizar una alta fiabilidad en entornos de llamadas múltiples.
- Configuración de Stealth que incluye banderas AutomationControlled desactivadas y argumentos no-sandbox.
- Retrasos de hidratación dinámica optimizados para las características de rendimiento de plataformas web específicas de alto tráfico.
- Modo de ejecución no-headless ajustado específicamente para eludir la lógica anti-scraping de página en blanco de X/Twitter.
SKILL.md
Cargando
Habilidades relacionadas de Openclaw
Exa Research
Una habilidad avanzada de inteligencia web que permite a los agentes de AI realizar búsquedas fundamentadas, obtener contenidos de páginas y descubrir enlaces similares con alta precisión.
AUSUB Seguimiento de Inversión en Oro
Una herramienta especializada para seguir las condiciones del mercado de ETF de Oro y generar sugerencias de inversión dinámicas basadas en reglas.
MS Forms Auto
Un motor de envío automático de formularios que sincroniza los calendarios de Outlook y TMS para completar y enviar automáticamente Microsoft Forms, incluso con requisitos de M365 MFA.
Servicio de Adivinación
Una plataforma integral de adivinación y lectura del futuro que proporciona análisis metafísico profesional utilizando tradiciones tanto orientales como occidentales.
Investigación Profunda (Pesquisa Profunda)
Un marco de investigación integral de 8 fases diseñado para transformar datos brutos en informes verificados y de alta autoridad con citas profesionales.
Google Workspace Automation
Una herramienta de automatización integral para gestionar Gmail, Calendar, Drive y Sheets a través del marco de Openclaw Skills.
Generador de Guiones de Anuncios de TikTok para Shopify
Un asistente de marketing de rendimiento de TikTok de élite que crea guiones de anuncios listos para viralizarse, variaciones de ganchos y contenido UGC específicamente para marcas de e-commerce de Shopify.
Presentado*
