Webclaw est un outil avancé de web scraping, de crawling et de recherche optimisé pour les LLM qui contourne facilement les protections contre les bots et analyse les sites JavaScript dynamiques.
Installer & Télécharger
1. ClawHub CLI
Le moyen le plus rapide d'installer une compétence directement depuis le registre.
npx clawhub@latest install webclaw-extraction
2. Installation manuelle
Copiez le dossier de la compétence dans l'un de ces emplacements
~/.openclaw/skills/ <project>/skills/ Priorité : Espace de travail > Local > Intégré
3. Installation du prompt
Copiez ce prompt dans OpenClaw pour l'installer automatiquement.
Aide-moi à installer webclaw-extraction via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).
Vous préférez télécharger ?
Obtenez les fichiers bruts de la compétence dans une archive ZIP.
Qu'est-ce que Webclaw ?
Webclaw est un moteur d'extraction web de pointe conçu spécifiquement pour les grands modèles de langage et les agents autonomes. En tant qu'un des Openclaw Skills les plus puissants, il agit comme un remplaçant robuste aux moteurs de récupération web de base, gérant sans effort les sites avec des protections anti-bot agressives, des CAPTCHA ou un rendu JavaScript côté client lourd.
En convertissant les pages web brutes en Markdown propre et structuré, en texte ou en JSON optimisé pour LLM, Webclaw permet aux développeurs d'alimenter directement leurs agents avec des données haute fidélité. Il propose une riche suite d'outils comprenant le crawling profond, le mappage de site, l'extraction de marque visuelle, la détection de changements et des scrapers verticaux spécialisés pour les principales plateformes.
Cas d'utilisation de Webclaw
- Lorsque les outils de récupération standard renvoient des résultats vides ou des erreurs 403 Forbidden en raison de logiciels de détection de bots.
- Contourner les étapes de rendu JavaScript pour scraper nativement les applications monopages (SPA).
- Extraire des schémas JSON propres et structurés (tableaux de prix, catalogues de produits, avis) sans écrire de parsers personnalisés.
- Obtenir des informations sur les backends cibles en scannant les bundles Javascript frontend à la recherche d'API, GraphQL ou de points de terminaison WebSocket cachés.
- Configurer une surveillance web en temps réel et des déclencheurs de notification de changement via des cron jobs et des webhooks.
- Mener des recherches académiques ou de marché approfondies et multi-sources automatiquement avec des boucles d'agents.
Comment fonctionne Webclaw
- Requête entrante : L'agent ou l'application initie une requête de scrape, de crawl ou de map vers l'API Webclaw en utilisant le client standard ou la configuration Openclaw Skills.
- Évaluation de la route : Webclaw évalue l'URL cible. Si elle correspond à l'un de ses 28 modèles d'extracteurs verticaux (comme GitHub, Reddit, ArXiv, Amazon), elle achemine instantanément la requête vers un extracteur dédié à haute efficacité.
- Contournement des bots et rendu : Si l'URL est générique, Webclaw transmet la requête via son système automatique de contournement de protection contre les bots et son navigateur headless pour gérer l'hydratation JavaScript.
- Nettoyage et formatage : Le pipeline d'optimisation en 20 étapes supprime les balises inutiles, les barres latérales et les trackers pour construire des sorties propres en Markdown, texte brut, JSON ou une représentation optimisée pour LLM.
- Livraison de la réponse : La charge utile structurée, avec métadonnées et paramètres de mise en cache, est renvoyée au processus appelant.
Configuration de Webclaw
Configurez Webclaw dans le cadre de votre boîte à outils pour Openclaw Skills en installant l'outil CLI et en configurant vos identifiants.
Installation
npx create-webclaw
Configuration
Webclaw nécessite une API key pour accéder aux fonctionnalités cloud, telles que le contournement de la protection contre les bots et la recherche approfondie. Définissez votre variable d'environnement :
export WEBCLAW_API_KEY="your_api_key_here"
Schéma de données et taxonomie de Webclaw
Webclaw structure les résultats d'extraction en schémas clairs et analysables selon le point de terminaison choisi. Vous trouverez ci-dessous la structure de réponse JSON pour une requête de Scrape standard d'une seule page :
| Champ | Type | Description |
|---|---|---|
url |
string | L'adresse de la page web demandée. |
metadata |
object | Contient le titre, la description de la page, la langue d'origine et le nombre de mots. |
markdown |
string | Extraction Markdown nettoyée du contenu principal de l'article. |
llm |
string | Format optimisé avec des références URL spécifiquement pour les modèles d'IA. |
antibot |
object | Diagnostics indiquant si le contournement anti-bot a été déclenché et le temps d'exécution. |
youtube |
object | Bloc de métadonnées optionnel rempli uniquement lors du scraping de vidéos YouTube (inclut les transcriptions). |
Pour les extractions de données personnalisées utilisant des schémas, Webclaw garantit la conformité avec le schéma JSON structuré fourni dans le corps de votre requête POST.
Fonctionnalités avancées de Webclaw
- Couche de compatibilité Firecrawl v2 : Remplacement direct de point de terminaison permettant aux systèmes existants utilisant Firecrawl de migrer de manière transparente vers Webclaw.
- Recherche approfondie multi-sources : Itérations d'agents autonomes (cycles de recherche-lecture-analyse) qui synthétisent des rapports complets à partir de jusqu'à 100 sources.
- Wrapper CLI Local-First : Une approche hybride exécutant des récupérations locales gratuites pour les pages HTML standard et revenant à l'API Cloud uniquement lorsque la détection de bot est déclenchée.
- Découverte de points de terminaison JavaScript : Scanne les scripts inline et les bundles sources pour mapper automatiquement les chemins relatifs, les WebSockets et les routes d'API GraphQL.
- Analyse de l'identité visuelle : Extrait les identifiants de marque du site comme l'utilisation de la famille de polices, les vecteurs de logo, les favicons et les couleurs hexadécimales primaires.
SKILL.md
Chargement
Compétences Openclaw associées
Affiliate Content Writer
Un rédacteur de contenu d'affiliate basé sur l'IA, optimisé pour créer des critiques, des guides et des listes à haute conversion pour JD Union, Taobao Alliance et Duoduo Jinbao.
eBook & Template Factory
Une compétence d'agent AI conçue pour générer des eBooks, des modèles et des produits numériques prêts pour le marché, optimisés pour la monétisation sur les places de marché numériques chinoises populaires.
Huawei Cloud SWR Image Management
Un outil d'automatisation avancé pour la gestion des dépôts d'images de conteneurs, construit sur la hcloud CLI pour Huawei Cloud SWR.
Huawei Cloud UCS Cluster Onboarding Manager
Une compétence d'orchestration de niveau entreprise pour gérer le cycle de vie de bout en bout, l'organisation de la flotte et le provisionnement sécurisé des identifiants des clusters Huawei Cloud UCS via l'exécution automatisée de la CLI.
Vendeur Automatique de Biens Virtuels Xianyu
Un ensemble d'outils propulsé par AI conçu pour automatiser et optimiser pleinement les flux de travail de création, de mise en ligne et de réponse client pour les biens virtuels sur la plateforme Xianyu.
Extracteur de commentaires de publications Instagram
Une capacité puissante d'Openclaw Skills conçue pour scraper des commentaires paginés, des noms d'utilisateur, des horodatages et des métriques de réaction depuis n'importe quelle publication Instagram.
WeChat Content Generator
Un moteur de génération de contenu propulsé par l'IA, conçu pour créer des articles viraux à haut taux de conversion et des plans de contenu optimisés pour l'écosystème du Compte Officiel WeChat.
METADATA
En vedette*
