Webclaw es una herramienta avanzada de web scraping, crawling e investigación optimizada para LLMs que elude fácilmente las protecciones contra bots y analiza sitios JavaScript dinámicos.
Instalar y Descargar
1. ClawHub CLI
La forma más rápida de instalar una habilidad directamente desde el registro.
npx clawhub@latest install webclaw-extraction
2. Instalación manual
Copia la carpeta de la habilidad a una de estas ubicaciones
~/.openclaw/skills/ <project>/skills/ Prioridad: Espacio de trabajo > Local > Integrado
3. Instalación del prompt
Copia este prompt en OpenClaw para instalarlo automáticamente.
Ayúdame a instalar webclaw-extraction usando Clawhub. Si Clawhub no está instalado, instálalo primero (npm i -g clawhub).
¿Prefieres descargar?
Obtén los archivos originales de la habilidad en un archivo ZIP.
¿Qué es Webclaw?
Webclaw es un motor de extracción web de última generación diseñado específicamente para grandes modelos de lenguaje y agentes autónomos. Como uno de los Openclaw Skills más potentes, actúa como un sustituto robusto para motores de búsqueda web básicos, manejando sin esfuerzo sitios con protecciones agresivas contra bots, CAPTCHAs o renderización pesada de JavaScript en el lado del cliente.
Al convertir páginas web crudas en Markdown limpio y estructurado, texto o JSON optimizado para LLM, Webclaw permite a los desarrolladores alimentar datos de alta fidelidad directamente a sus agentes. Cuenta con un rico conjunto de herramientas, que incluye crawling profundo, mapeo de sitios, extracción de marca visual, detección de cambios y scrapers verticales especializados para las principales plataformas.
Casos de uso de Webclaw
- Cuando las herramientas de búsqueda estándar devuelven resultados vacíos o errores 403 Forbidden debido a software de detección de bots.
- Evitar los pasos de renderización de JavaScript para extraer aplicaciones de una sola página (SPA) de forma nativa.
- Extraer esquemas JSON limpios y estructurados (tablas de precios, catálogos de productos, reseñas) sin escribir parsers personalizados.
- Obtener información sobre backends de destino escaneando paquetes de Javascript de front-end en busca de API, GraphQL o endpoints WebSocket ocultos.
- Configurar monitoreo web en tiempo real y activadores de notificación de cambios a través de cron jobs y webhooks.
- Realizar investigaciones académicas o de mercado profundas y de múltiples fuentes automáticamente con bucles de agentes.
Cómo funciona Webclaw
- Solicitud de Entrada: El agente o aplicación inicia una solicitud de scrape, crawl o mapa a la API de Webclaw utilizando el cliente estándar o la configuración de Openclaw Skills.
- Evaluación de Ruta: Webclaw evalúa la URL de destino. Si coincide con uno de sus 28 patrones de extractores verticales (como GitHub, Reddit, ArXiv, Amazon), enruta la solicitud instantáneamente a un extractor dedicado de alta eficiencia.
- Bypass de Bot y Renderización: Si la URL es genérica, Webclaw pasa la solicitud a través de su sistema automático de bypass de protección contra bots y navegador headless para manejar la hidratación de JavaScript.
- Limpieza y Formateo: El pipeline de optimización de 20 pasos elimina marcas innecesarias, barras laterales y rastreadores para construir salidas limpias en Markdown, texto plano, JSON o una representación optimizada para LLM.
- Entrega de Respuesta: El payload estructurado, completo con metadatos y parámetros de caché, se entrega de vuelta al proceso de llamada.
Configuración de Webclaw
Configure Webclaw como parte de su kit de herramientas para Openclaw Skills instalando la herramienta CLI y configurando sus credenciales.
Instalación
npx create-webclaw
Configuración
Webclaw requiere una API key para acceder a funciones en la nube, como bypass de protección contra bots e investigaciones profundas. Configure su variable de entorno:
export WEBCLAW_API_KEY="your_api_key_here"
Esquema de datos y taxonomía de Webclaw
Webclaw estructura los resultados de la extracción en esquemas claros y analizables según el endpoint elegido. A continuación se muestra la estructura de respuesta JSON para una solicitud de Scrape estándar de una sola página:
| Campo | Tipo | Descripción |
|---|---|---|
url |
string | La dirección de la página web solicitada. |
metadata |
object | Contiene título, descripción de la página, idioma original y conteo de palabras. |
markdown |
string | Extracción en Markdown limpia del contenido principal del artículo. |
llm |
string | Formato optimizado con referencias de URL específicamente para modelos de IA. |
antibot |
object | Diagnósticos que indican si se activó el bypass anti-bot y el tiempo de ejecución. |
youtube |
object | Bloque de metadatos opcional rellenado solo durante el scraping de videos de YouTube (incluye transcripciones). |
Para extracciones de datos personalizadas utilizando esquemas, Webclaw garantiza el cumplimiento del esquema JSON estructurado proporcionado en el cuerpo de su solicitud POST.
Funciones avanzadas de Webclaw
- Capa de Compatibilidad Firecrawl v2: Reemplazo directo de endpoint, lo que permite que los sistemas existentes que utilizan Firecrawl migren sin problemas a Webclaw.
- Investigación Profunda de Múltiples Fuentes: Iteraciones de agentes autónomos (ciclos de búsqueda-lectura-análisis) que sintetizan informes integrales de hasta 100 fuentes.
- Wrapper CLI Local-First: Un enfoque híbrido que ejecuta búsquedas locales gratuitas para páginas HTML estándar y recurre a Cloud API solo cuando se activa la detección de bot.
- Descubrimiento de Endpoint JavaScript: Escanea scripts en línea y paquetes de origen para mapear automáticamente rutas relativas, WebSockets y rutas de API GraphQL.
- Análisis de Identidad Visual: Extrae identificadores de marca del sitio, como uso de familias de fuentes, vectores de logotipo, favicons y colores hexadecimales primarios.
SKILL.md
Cargando
Habilidades relacionadas de Openclaw
Affiliate Content Writer
Un escritor de contenido de affiliate basado en AI optimizado para crear reseñas, guías y listas de alta conversión para JD Union, Taobao Alliance y Duoduo Jinbao.
eBook & Template Factory
Una skill de agente de AI diseñada para generar eBooks, plantillas y productos digitales listos para el mercado y optimizados para la monetización en mercados digitales chinos populares.
Huawei Cloud SWR Image Management
Una herramienta avanzada de automatización para la gestión de repositorios de imágenes de contenedores integrada sobre hcloud CLI para Huawei Cloud SWR.
Huawei Cloud UCS Cluster Onboarding Manager
Una habilidad de orquestación de nivel empresarial para gestionar el ciclo de vida de extremo a extremo, la organización de flotas y el aprovisionamiento seguro de credenciales de los clusters de Huawei Cloud UCS mediante la ejecución automatizada de la CLI.
Vendedor Automático de Productos Virtuales Xianyu
Un conjunto de herramientas impulsado por AI diseñado para automatizar y optimizar por completo los flujos de trabajo de creación, publicación y respuesta a clientes para productos virtuales en el mercado de Xianyu.
Extractor de comentarios de publicaciones de Instagram
Una poderosa capacidad de Openclaw Skills diseñada para extraer comentarios paginados, nombres de usuario, marcas de tiempo y métricas de reacción de cualquier publicación de Instagram.
WeChat Content Generator
Un motor de generación de contenido impulsado por IA diseñado para crear artículos virales de alta conversión y planes de contenido optimizados para el ecosistema de la Cuenta Oficial de WeChat.
METADATA
Presentado*
