Une skill de SEO technique pour configurer, auditer et optimiser les fichiers robots.txt afin de gérer la visibilité sur les moteurs de recherche et l'accès des crawlers d'IA.
Installer & Télécharger
1. ClawHub CLI
Le moyen le plus rapide d'installer une compétence directement depuis le registre.
npx clawhub@latest install robots-txt
2. Installation manuelle
Copiez le dossier de la compétence dans l'un de ces emplacements
~/.openclaw/skills/ <project>/skills/ Priorité : Espace de travail > Local > Intégré
3. Installation du prompt
Copiez ce prompt dans OpenClaw pour l'installer automatiquement.
Aide-moi à installer robots-txt via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).
Vous préférez télécharger ?
Obtenez les fichiers bruts de la compétence dans une archive ZIP.
Qu'est-ce que robots-txt ?
La skill robots-txt pour Openclaw Skills est un outil spécialisé conçu pour aider les développeurs et les professionnels du SEO à gérer la manière dont les moteurs de recherche et les AI agents interagissent avec leurs sites web. Elle se concentre sur le contrôle du crawl, en fournissant un cadre pour configurer les directives Disallow et Allow, les déclarations de Sitemap et les stratégies de crawler spécifiques à l'IA. En tirant parti d'Openclaw Skills, vous pouvez garantir que les ressources critiques comme le CSS et le JS restent accessibles aux moteurs de recherche modernes, tout en protégeant les répertoires sensibles ou en empêchant le contenu d'être utilisé pour l'entraînement de modèles d'IA non autorisés.
Cette skill comble le fossé entre l'édition simple de fichiers texte et le SEO technique stratégique. Elle fournit des informations approfondies sur le Robots Exclusion Protocol (RFC 9309) et aide les utilisateurs à distinguer les restrictions de crawl dans robots.txt des restrictions d'indexation via les balises noindex. L'utilisation d'Openclaw Skills permet une approche standardisée et sans erreur pour gérer l'accessibilité du site à une époque où le trafic des bots d'IA augmente rapidement.
Cas d'utilisation de robots-txt
- Créer un fichier robots.txt prêt pour la production qui suit les meilleures pratiques SEO modernes.
- Bloquer les crawlers d'entraînement d'IA comme GPTBot ou ClaudeBot tout en autorisant les agents de recherche IA via Openclaw Skills.
- Auditer les configurations existantes du site pour corriger les blocages accidentels de ressources de rendu critiques, comme les fichiers statiques Next.js.
- Configurer des directives spécifiques pour Yandex en utilisant Clean-param pour optimiser l'indexation des URL.
- Protéger les environnements de staging ou les routes d'API contre le crawl par les moteurs de recherche publics.
Comment fonctionne robots-txt
- La skill vérifie d'abord le contexte du projet dans des fichiers comme project-context.md pour identifier l'URL du site et les objectifs d'indexation spécifiques.
- Elle évalue la stratégie de crawl actuelle, en distinguant le contrôle au niveau du chemin et les besoins d'indexation au niveau de la page.
- Une stratégie de crawler IA personnalisée est développée selon que vous souhaitez autoriser des bots de recherche spécifiques ou bloquer les crawlers d'entraînement généraux via Openclaw Skills.
- La skill identifie les chemins critiques qui doivent rester débloqués, comme le CSS, les images et le JavaScript, pour garantir un rendu correct par les moteurs de recherche.
- Elle génère une structure de fichier robots.txt valide, encodée en UTF-8, incluant des références de Sitemap et des règles de User-agent spécifiques.
Configuration de robots-txt
Pour implémenter cette skill dans votre environnement de projet en utilisant Openclaw Skills, suivez ces étapes de configuration de base.
# Naviguez jusqu'à la racine de votre projet ou le répertoire public
cd public/
# Créez un fichier robots.txt s'il n'existe pas
touch robots.txt
# Vérifiez votre project-context.md pour vous assurer que la Site URL est définie
cat .claude/project-context.md
Assurez-vous que le robots.txt résultant est servi à la racine de votre domaine (par exemple, https://example.com/robots.txt).
Schéma de données et taxonomie de robots-txt
La skill robots-txt organise les directives SEO techniques dans un format structuré basé sur les normes de métadonnées et de schéma fournies par Openclaw Skills :
| Directive | Type de données | Description |
|---|---|---|
| User-agent | String | Identifie le crawler spécifique auquel la règle s'applique (par exemple, Googlebot, GPTBot) |
| Disallow | Path String | Définit les répertoires ou les préfixes de fichiers qui ne doivent pas être crawlés |
| Allow | Path String | Remplace les règles Disallow pour des sous-chemins spécifiques |
| Sitemap | Absolute URL | Indique aux moteurs de recherche l'index sitemap XML |
| Clean-param | Parameter List | Utilisé par Yandex pour identifier les paramètres qui ne modifient pas le contenu de la page |
Toutes les configurations sont générées en texte brut UTF-8 pour se conformer au RFC 9309.
Fonctionnalités avancées de robots-txt
- Stratégie d'IA multi-agent : Différencie l'IA centrée sur la recherche (OAI-SearchBot) de l'IA centrée sur l'entraînement (CCBot) en utilisant Openclaw Skills.
- Protection du rendu : Empêche les erreurs courantes comme le blocage des chemins /_next/, ce qui peut nuire au SEO pour les frameworks JavaScript modernes.
- Logique d'indexation vs crawl : Intègre une logique pour garantir que les pages avec des balises noindex sont réellement accessibles par les crawlers pour traiter la directive.
- Intégration du contexte du projet : Extrait automatiquement les objectifs spécifiques au site à partir de la documentation de votre projet existant pour une sortie robots.txt personnalisée.
- Support hérité : Inclut des directives spécifiques pour les moteurs de recherche plus anciens ou de niche comme Yandex et AppleBot.
SKILL.md
Chargement
Compétences Openclaw associées
FakeX-Till-You-AI
Une couche de publication intelligente qui convertit les résumés IA quotidiens en brouillons de posts X personnalisés, avec des options de planification automatique ou semi-automatique.
Rapport quotidien de timeout AK Data
Une skill de diagnostic complète pour AK Data qui unifie les rapports de timeout des tâches et des crawlers avec l'enrichissement automatique des logs et l'analyse des écarts.
Stratégie de marque et narration
Un cadre complet pour définir la raison d'être de la marque, les arcs narratifs, les directives de ton de voix et une stratégie visuelle de haut niveau afin d'assurer une identité cohérente sur tous les points de contact.
Protection de la marque
Un cadre complet pour identifier, signaler et prévenir l'usurpation de marque, les sites de phishing et les violations de marques déposées.
SEO Technical: Sitemap
Une compétence technique SEO conçue pour automatiser la création, l'audit et l'optimisation des XML sitemaps pour une visibilité maximale sur les moteurs de recherche.
Surveillance de Marque
Une compétence de surveillance proactive de la marque pour détecter les atteintes aux marques, l'usurpation et les abus de marque sur tous les canaux numériques.
En vedette*
