Eine technische SEO-Skill zum Konfigurieren, Überprüfen und Optimieren von robots.txt-Dateien, um die Sichtbarkeit in Suchmaschinen und den Zugriff von KI-Crawlern zu steuern.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install robots-txt
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, robots-txt über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist robots-txt?
Die robots-txt-Skill für Openclaw Skills ist ein spezialisiertes Werkzeug, das Entwicklern und SEO-Profis dabei hilft, zu verwalten, wie Suchmaschinen und KI-agents mit ihren Websites interagieren. Sie konzentriert sich auf die Crawler-Steuerung und bietet ein Framework zum Konfigurieren von Disallow- und Allow-Anweisungen, Sitemap-Deklarationen und KI-spezifischen Crawler-Strategien. Durch die Nutzung von Openclaw Skills können Sie sicherstellen, dass kritische Assets wie CSS und JS für moderne Suchmaschinen zugänglich bleiben, während Sie sensible Verzeichnisse schützen oder verhindern, dass Inhalte für das Training nicht autorisierter KI-Modelle verwendet werden.
Diese Skill schließt die Lücke zwischen einfacher Textdateibearbeitung und strategischem technischem SEO. Sie bietet tiefe Einblicke in das Robots Exclusion Protocol (RFC 9309) und hilft Benutzern, zwischen Crawling-Einschränkungen in der robots.txt und Indexierungs-Einschränkungen durch noindex-Tags zu unterscheiden. Die Verwendung von Openclaw Skills ermöglicht einen standardisierten, fehlerfreien Ansatz zur Verwaltung der Website-Zugänglichkeit in einer Zeit, in der der Datenverkehr durch KI-bots schnell zunimmt.
robots-txt Anwendungsfälle
- Erstellung einer produktionsbereiten robots.txt-Datei, die modernen SEO-Best-Practices folgt.
- Blockieren von KI-Trainings-Crawlern wie GPTBot oder ClaudeBot, während KI-Such-agents über Openclaw Skills zugelassen werden.
- Überprüfung bestehender Website-Konfigurationen, um versehentliche Blockierungen von kritischen Rendering-Assets wie statischen Next.js-Dateien zu beheben.
- Konfiguration spezifischer Anweisungen für Yandex unter Verwendung von Clean-param zur Optimierung der URL-Indexierung.
- Schutz von Staging-Umgebungen oder API-Routen vor dem Crawling durch öffentliche Suchmaschinen.
So funktioniert robots-txt
- Die Skill prüft zuerst den Projektkontext in Dateien wie project-context.md, um die Website-URL und spezifische Indexierungsziele zu identifizieren.
- Sie bewertet die aktuelle Crawling-Strategie und unterscheidet zwischen Steuerung auf Pfadebene und Anforderungen an die Seiten-Indexierung.
- Eine maßgeschneiderte KI-Crawler-Strategie wird entwickelt, basierend darauf, ob Sie spezifische Such-bots erlauben oder allgemeine Trainings-Crawler über Openclaw Skills blockieren möchten.
- Die Skill identifiziert kritische Pfade, die nicht blockiert werden dürfen, wie CSS, Bilder und JavaScript, um ein ordnungsgemäßes Suchmaschinen-Rendering zu gewährleisten.
- Sie generiert eine gültige, UTF-8-kodierte robots.txt-Dateistruktur, einschließlich Sitemap-Referenzen und spezifischer User-agent-Regeln.
robots-txt Einrichtung
Um diese Skill innerhalb Ihrer Projektumgebung unter Verwendung von Openclaw Skills zu implementieren, befolgen Sie diese grundlegenden Konfigurationsschritte.
# Navigieren Sie zu Ihrem Projekt-Root oder public-Verzeichnis
cd public/
# Erstellen Sie eine robots.txt-Datei, falls sie nicht existiert
touch robots.txt
# Überprüfen Sie Ihre project-context.md, um sicherzustellen, dass die Site-URL definiert ist
cat .claude/project-context.md
Stellen Sie sicher, dass die resultierende robots.txt im Root Ihrer Domain bereitgestellt wird (z. B. https://example.com/robots.txt).
robots-txt Datenschema & Taxonomie
Die robots-txt-Skill organisiert technische SEO-Anweisungen in einem strukturierten Format basierend auf den von Openclaw Skills bereitgestellten Metadaten- und Schema-Standards:
| Anweisung | Datentyp | Beschreibung |
|---|---|---|
| User-agent | String | Identifiziert den spezifischen Crawler, für den die Regel gilt (z. B. Googlebot, GPTBot) |
| Disallow | Path String | Definiert Verzeichnisse oder Dateipräfixe, die nicht gecrawlt werden sollten |
| Allow | Path String | Überschreibt Disallow-Regeln für bestimmte Unterpfade |
| Sitemap | Absolute URL | Zeigt Suchmaschinen auf den XML-sitemap-Index |
| Clean-param | Parameter List | Wird von Yandex verwendet, um Parameter zu identifizieren, die den Seiteninhalt nicht ändern |
Alle Konfigurationen werden als UTF-8-Klartext generiert, um dem RFC 9309 zu entsprechen.
robots-txt Erweiterte Funktionen
- Multi-agent KI-Strategie: Unterscheidet zwischen suchzentrierter KI (OAI-SearchBot) und trainingszentrierter KI (CCBot) unter Verwendung von Openclaw Skills.
- Rendering-Schutz: Verhindert häufige Fehler wie das Blockieren von /_next/-Pfaden, was das SEO für moderne JavaScript-Frameworks beschädigen kann.
- Indexierungs- vs. Crawling-Logik: Integriert Logik, um sicherzustellen, dass Seiten mit noindex-Tags für Crawler tatsächlich erreichbar sind, um die Anweisung zu verarbeiten.
- Projektkontext-Integration: Ruft automatisch standortspezifische Ziele aus Ihrer bestehenden Projektdokumentation für eine maßgeschneiderte robots.txt-Ausgabe ab.
- Legacy-Support: Enthält spezifische Anweisungen für ältere oder Nischen-Suchmaschinen wie Yandex und AppleBot.
SKILL.md
Laden
Verwandte Openclaw-Skills
FakeX-Till-You-AI
Eine intelligente Posting-Ebene, die tägliche KI-Zusammenfassungen in personalisierte X-Post-Entwürfe umwandelt und Optionen für automatisierte oder halbautomatisierte Planung bietet.
AK Data Täglicher Timeout-Bericht
Ein umfassender Diagnose-Skill für AK Data, der Task- und crawler-Timeout-Berichte durch automatische Protokollanreicherung und Lückenanalyse vereinheitlicht.
Markenstrategie und Narrative
Ein umfassendes Framework zur Definition des Markenzwecks, von Storytelling-Bögen, Sprachrichtlinien und einer visuellen High-Level-Strategie, um eine konsistente Identität über alle Touchpoints hinweg sicherzustellen.
Markenschutz
Ein umfassendes Framework zur Identifizierung, Meldung und Prävention von Markenidentitätsdiebstahl, Phishing-Sites und Markenrechtsverletzungen.
SEO Technical: Sitemap
Eine technische SEO-Fähigkeit, die darauf ausgelegt ist, die Erstellung, Prüfung und Optimierung von XML-Sitemaps für maximale Sichtbarkeit in Suchmaschinen zu automatisieren.
Markenüberwachung
Eine proaktive Markenüberwachungsfunktion zur Erkennung von Markenrechtsverletzungen, Identitätsdiebstahl und Markenmissbrauch über digitale Kanäle hinweg.
Hervorgehoben*
