Un puissant outil de web scraping et d'extraction de données qui transforme les sites web en données structurées pour la recherche et l'analyse.
Installer & Télécharger
1. ClawHub CLI
Le moyen le plus rapide d'installer une compétence directement depuis le registre.
npx clawhub@latest install firecrawl-integration
2. Installation manuelle
Copiez le dossier de la compétence dans l'un de ces emplacements
~/.openclaw/skills/ <project>/skills/ Priorité : Espace de travail > Local > Intégré
3. Installation du prompt
Copiez ce prompt dans OpenClaw pour l'installer automatiquement.
Aide-moi à installer firecrawl-integration via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).
Vous préférez télécharger ?
Obtenez les fichiers bruts de la compétence dans une archive ZIP.
Qu'est-ce que Firecrawl ?
Firecrawl est une intégration de web scraping robuste conçue pour extraire des données propres et structurées de tout le web. Il est largement utilisé par les data scientists, les marketeurs et les développeurs pour recueillir des informations pour l'analyse concurrentielle, la génération de leads et les études de marché. En utilisant cela au sein de l'écosystème Openclaw Skills, les utilisateurs peuvent contourner les complexités des scripts de scraping traditionnels et se concentrer sur la logique de données de haut niveau.
Ce skill utilise Membrane pour fournir une interface transparente pour interagir avec le contenu web. Il gère la lourde tâche de l'authentification et de la gestion des identifiants, permettant aux agents d'AI de naviguer sur les sites web et d'extraire des informations précieuses de manière programmatique. Que vous construisiez un bot de recherche ou une automatisation basée sur les données, Firecrawl fournit l'infrastructure fiable nécessaire pour transformer Internet en une ressource interrogeable pour Openclaw Skills.
Cas d'utilisation de Firecrawl
- Automatisation de la collecte d'informations sur les prospects à partir d'annuaires professionnels et de sites web d'entreprises.
- Collecte de données sur les prix et les produits de sites concurrents pour l'analyse de marché.
- Extraction de contenu structuré d'articles de presse et de blogs pour l'agrégation de recherches.
- Transformation de HTML non structuré en JSON pour l'entraînement de modèles de machine learning ou l'alimentation de workflows d'AI.
Comment fonctionne Firecrawl
- Installez le Membrane CLI et authentifiez votre session pour gérer les Openclaw Skills en toute sécurité.
- Créez une connexion à Firecrawl à l'aide de la commande connection ensure, qui gère le handshake d'authentification.
- Découvrez les actions de scraping disponibles en effectuant des recherches avec une intention en langage naturel.
- Exécutez des tâches de crawling ou d'extraction pour récupérer des données structurées à partir d'URLs spécifiques ou de domaines entiers.
- Gérez des exigences personnalisées complexes à l'aide de la fonction proxy request pour communiquer directement avec l'API Firecrawl.
Configuration de Firecrawl
Tout d'abord, installez le Membrane CLI globalement pour gérer vos Openclaw Skills :
npm install -g @membranehq/cli@latest
Ensuite, authentifiez votre type d'agent :
membrane login --tenant --clientName=openclaw
Établissez une connexion au service Firecrawl :
membrane connection ensure "https://firecrawl.dev" --json
Schéma de données et taxonomie de Firecrawl
Le skill organise les données web dans une structure hiérarchique pour une extraction et un reporting efficaces au sein d'Openclaw Skills :
| Entity | Description |
|---|---|
| Website | Le domaine de premier niveau ou la cible pour les opérations de scraping. |
| Crawl | Une tâche représentant le parcours de plusieurs pages liées. |
| Page | Les données spécifiques extraites d'un point de terminaison d'URL unique. |
| Project | Un conteneur utilisé pour organiser plusieurs rapports et ensembles de données. |
| Report | La sortie structurée finale générée à partir d'une tâche de scraping ou de crawling. |
Fonctionnalités avancées de Firecrawl
- Découverte d'actions en langage naturel pour trouver la stratégie de scraping optimale pour des ensembles de données spécifiques.
- Renouvellement transparent des identifiants, garantissant que les tâches Openclaw Skills de longue durée ne sont jamais interrompues par des jetons expirés.
- Mode proxy request pour une interaction directe avec l'API avec injection automatique de header et d'URL de base.
- Prise en charge des environnements headless, permettant une autorisation facile dans les déploiements côté serveur.
- Sortie prête pour JSON pour toutes les commandes, facilitant l'intégration dans des pipelines programmatiques plus larges.
SKILL.md
Chargement
Compétences Openclaw associées
Unbox
Une intégration complète pour gérer les données d'abonnement, les flux de travail de facturation et l'analytique client via le framework Membrane.
Crobox
La skill Crobox permet aux agents AI de gérer la personnalisation de l'e-commerce, les expériences et les segments de clients via des flux de travail automatisés Membrane.
Bouncer
La skill Bouncer permet aux agents IA de gérer la vérification des e-mails, les scores de toxicité et les permissions temporaires d'applications via l'écosystème Membrane.
Yespo
Une compétence d'automatisation du marketing puissante qui permet aux agents AI de gérer les données clients, les campagnes d'e-mailing et la messagerie SMS via la plateforme Yespo.
Bullhorn AI Skill
Une compétence AI complète pour gérer les données Bullhorn CRM et ATS, permettant des flux de travail de recrutement automatisés via le framework Membrane.
Built Accounting
Une intégration complète pour les agents d'IA afin de gérer les tâches comptables spécifiques à la construction, les factures et les coûts de projet via Built Accounting.
METADATA
En vedette*
