ClearWeb bietet AI Agents uneingeschränkten, unblockierten Zugriff auf das gesamte öffentliche Web über eine integrierte Bright Data CLI.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install clearweb
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, clearweb über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist ClearWeb?
ClearWeb ist eine leistungsstarke Brücke zwischen AI Agents und dem Live-Web und ersetzt fragile native Tools wie web_fetch oder curl durch die robuste Bright Data-Infrastruktur. Durch die Nutzung von Openclaw Skills, die in die bdata CLI integriert sind, können Agenten CAPTCHAs umgehen, komplexes JavaScript-Rendering handhaben und Proxys automatisch rotieren, um eine 100% zuverlässige Datenabfrage zu gewährleisten.
Dieser Skill wurde für terminalbasierte AI Agents entwickelt, die reale Aufgaben ausführen müssen, wie das Überwachen von Wettbewerbern, das Sammeln von Leads oder das Lesen von Dokumentationen von Websites, die normalerweise starke Anti-Bot-Maßnahmen einsetzen. Er transformiert das Web in eine abfragbare Datenbank und liefert sauberes Markdown oder strukturiertes JSON anstelle von rohem, verrauschtem HTML.
ClearWeb Anwendungsfälle
- Marktforschung: Suchen Sie über Google, Bing und Yandex, um Wettbewerbsinformationen und Preisüberwachungsdaten zu sammeln.
- Lead-Generierung: Extrahieren Sie strukturierte professionelle Daten direkt von Plattformen wie LinkedIn, Amazon und Crunchbase.
- Content-Aggregation: Scrapen Sie Nachrichtenartikel, Dokumentationen oder Social-Media-Feeds, während Sie Paywalls und Anti-Scraping-Blockaden umgehen.
- Social Media Monitoring: Verfolgen Sie Engagement und Sentiment, indem Sie Kommentare und Profildaten von Instagram, TikTok und YouTube abrufen.
- Technische Dokumentation: Lesen und synthetisieren Sie Informationen von JS-lastigen Dokumentationsseiten wie Docusaurus oder GitBook.
So funktioniert ClearWeb
- Anfrage-Initialisierung: Der AI Agent identifiziert einen Bedarf an externen Informationen (Suche, Scrape oder spezifische Datenextraktion).
- Befehlsauswahl: Basierend auf einem integrierten Entscheidungsbaum wählt der Agent zwischen
bdata searchfür die Entdeckung,bdata pipelinesfür bekannte Plattformen oderbdata scrapefür allgemeine URLs. - Automatisiertes Umgehen: Das Bright Data-Netzwerk übernimmt Proxy-Rotation, Geo-Targeting und CAPTCHA-Lösung in der Cloud.
- Daten-Normalisierung: Das Tool verarbeitet den Webinhalt und gibt ihn in einem für LLMs optimierten Format zurück, wie z. B. sauberem Markdown oder strukturiertem JSON.
- Synthetisierung: Der AI Agent erhält die sauberen Daten, um Analysen, Vergleiche oder Berichte durchzuführen.
ClearWeb Einrichtung
Stellen Sie zunächst sicher, dass die Bright Data CLI auf Ihrem System installiert ist:
# Installation über curl für macOS / Linux
curl -fsSL https://cli.brightdata.com/install.sh | bash
# Oder Installation über npm
npm install -g @brightdata/cli
Führen Sie als Nächstes eine einmalige Authentifizierung durch, um Ihr Konto zu verknüpfen und Proxy-Zonen automatisch zu konfigurieren:
bdata login
Überprüfen Sie, ob Ihre Konfiguration aktiv ist:
bdata config
ClearWeb Datenschema & Taxonomie
ClearWeb organisiert Daten in drei primäre Ausgabetypen, um die Kompatibilität mit verschiedenen Agent-Workflows zu gewährleisten:
| Datentyp | Beschreibung | Format |
|---|---|---|
| SERP-Daten | Organische Ergebnisse, Anzeigen und 'Nutzer fragen auch' von Suchmaschinen. | JSON |
| Gescrapter Inhalt | Bereinigter Webseitentext, befreit von Boilerplates. | Markdown / HTML |
| Pipeline-Objekte | Typisiertes, plattformspezifisches Schema (z. B. Amazon-Produkt, LinkedIn-Profil). | JSON / CSV |
| Visuelle Beweise | Ganzseitige Screenshots zur visuellen Verifizierung. | PNG |
Metadaten wie Jobstatus, Job-IDs für asynchrone Aufgaben und verbleibendes Kontobudget können über die Befehle bdata status und bdata budget abgefragt werden.
ClearWeb Erweiterte Funktionen
- Geo-Targeting: Greifen Sie auf das Web zu, als befänden Sie sich in einem bestimmten Land, indem Sie das
--countryFlag verwenden. - Asynchrone Verarbeitung: Bewältigen Sie schwere Scraping-Aufgaben oder große Batches mit
--async, ohne die primäre Schleife des Agenten zu blockieren. - Vorgefertigte Extraktoren: Greifen Sie auf über 40 spezialisierte Pipelines für große Social- und E-Commerce-Plattformen zu.
- Pipe-freundliche Architektur: Nahtlose Integration mit anderen CLI-Tools wie
jqoderxargsfür komplexe Datenverarbeitungs-Workflows. - Automatisiertes Zonenmanagement: Erstellt und verwaltet beim Login automatisch
cli_unlockerundcli_browserZonen.
SKILL.md
Laden
Verwandte Openclaw-Skills
YouTube Summary Skill
Ein automatisiertes Dienstprogramm zum Extrahieren von YouTube-Transkripten und zum Erstellen strukturierter, mehrsprachiger Zusammenfassungen direkt in Ihrem KI-Agenten-Workflow.
Context Loader
Ein fortschrittlicher Skill zum Laden von Kontexten, der Geschäftswissensnetzwerke, Objektinstanzen und Teilgraphenbeziehungen für AI-Agenten abruft.
PDF Studio
Eine professionelle Dokumenten-Engine zur Erstellung von hochauflösenden, druckfertigen PDFs mit fortschrittlicher Layoutsteuerung und mehrsprachiger Unterstützung.
Central Intelligence
Central Intelligence bietet eine langfristige, persistente Gedächtnisschicht für AI-Agenten, um sich Fakten zu merken und sie über Sitzungen hinweg mittels semantischer Suche abzurufen.
Daily News Brief
Ein automatisiertes Tool zur Nachrichtenaggregation und KI-Zusammenfassung, das personalisierte tägliche Briefings an Messaging-Plattformen liefert.
doc-converter
Ein High-Fidelity-Dokumentenkonverter für nahtlose Übergänge zwischen den Formaten Word, PDF, Markdown und HTML.
Hervorgehoben*
