Eine umfassende Automatisierungssuite, die pixelgenaue Kontrolle über Maus-, Tastatur- und Bildschirmoperationen für KI-Agenten bietet.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install control
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, control über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist Desktop-Steuerungs-Skill?
Der Desktop-Steuerungs-Skill ist die primäre Schnittstelle, die es KI-Agenten ermöglicht, direkt mit einer Desktop-Umgebung zu interagieren. Als Kernkomponente innerhalb des Openclaw Skills-Ökosystems bietet er die Low-Level-Hooks, die für Mauspositionierung, Tastatureingabesimulation und fortgeschrittene Fensterverwaltung erforderlich sind. Durch die Integration dieses Skills können Entwickler die Fähigkeiten ihres Agenten über das Terminal hinaus auf den visuellen Arbeitsbereich ausdehnen.
Diese Bibliothek zeichnet sich dadurch aus, die Lücke zwischen automatisiertem Denken und GUI-Interaktion zu schließen. Ob es sich um das Navigieren in komplexer Legacy-Software oder das schnelle Ausfüllen von Formularen handelt, diese Ergänzung zu Openclaw Skills stellt sicher, dass Ihr Agent über die Präzision und die Sicherheitsmechanismen verfügt, die für eine professionelle Desktop-Automatisierung erforderlich sind.
Desktop-Steuerungs-Skill Anwendungsfälle
- Automatisierung wiederkehrender Dateneingaben in Desktop-Formularen und Legacy-Anwendungen.
- Erstellung visueller Dokumentation durch automatisches Erfassen bestimmter Bildschirmbereiche oder Fenster.
- Ausführung komplexer Tastenkombinationen und Hotkey-Sequenzen für Softwareentwicklungs-Workflows.
- Erstellung automatisierter UI-Testskripte, die auf Bilderkennung basieren, um Elemente zu finden.
- Verwaltung von Dateisystemen durch Drag-and-Drop-Operationen und Tastatur-Modifikatoren für Mehrfachauswahl.
So funktioniert Desktop-Steuerungs-Skill
- Der KI-Agent initialisiert den DesktopController, der die erforderlichen Treiber für die Eingabesimulation auf Betriebssystemebene lädt.
- Der Skill bildet das Bildschirmkoordinatensystem ab, beginnend an der oberen linken Ecke (0,0), um logische Befehle in physische Cursorbewegungen zu übersetzen.
- Tastatureingaben werden über einen konfigurierbaren Puffer verarbeitet, der sowohl sofortiges Tippen als auch menschenähnliche Geschwindigkeitssimulationen unterstützt.
- Für visuelle Aufgaben erfasst der Skill den aktuellen Bildschirmzustand und nutzt Bildverarbeitung, um UI-Komponenten dynamisch zu identifizieren.
- Alle Operationen sind in Sicherheitsschichten eingebettet, einschließlich einer Notfall-Sicherung, die Aufgaben abbricht, wenn der Cursor in eine Bildschirmecke bewegt wird.
Desktop-Steuerungs-Skill Einrichtung
Um mit diesem speziellen Set an Openclaw Skills zu beginnen, müssen Sie zuerst die Kern-Automatisierungsabhängigkeiten installieren:
pip install pyautogui pillow opencv-python pygetwindow
Initialisieren Sie nach der Installation den Controller in Ihrer Python-Umgebung, um mit der Automatisierung von Desktop-Aufgaben zu beginnen:
from skills.desktop_control import DesktopController
dc = DesktopController(failsafe=True)
Desktop-Steuerungs-Skill Datenschema & Taxonomie
Der Desktop-Steuerungs-Skill organisiert Daten mithilfe von Koordinatensystemen, Bildpuffern und Fenstermetadaten. Unten ist die primäre Datenstruktur aufgeführt, die vom Skill verwendet wird:
| Datenelement | Typ | Beschreibung |
|---|---|---|
| Koordinaten | (int, int) | Absolute (x, y) Pixelwerte auf dem primären oder sekundären Display. |
| Bildschirmregion | (l, t, w, h) | Tupel, das links, oben, Breite und Höhe für gezielte Aufnahmen definiert. |
| Pixelfarbe | (r, g, b) | RGB-Farbwerte, die von bestimmten Bildschirmpositionen extrahiert wurden. |
| Fensterobjekt | String/Handle | Metadaten einschließlich Fenstertitel und Sichtbarkeitsstatus für die Verwaltung. |
Desktop-Steuerungs-Skill Erweiterte Funktionen
- Glatte Bezier-Kurven-Bewegungspfade für natürliche, menschenähnliche Mausinteraktionen.
- Integrierte OpenCV-Unterstützung für Template-Matching und bildbasierte Elementerkennung.
- Genehmigungsmodus, der eine manuelle Bestätigung durch den Benutzer vor risikoreichen Automatisierungsaktionen erfordert.
- Multi-Monitor-Unterstützung für den Umgang mit erweiterten Desktops und komplexen Koordinatenzuordnungen.
- Konfigurierbare WPM-Einstellungen (Words Per Minute), um Standard-Tippgeschwindigkeiten zu umgehen oder nachzuahmen.
SKILL.md
Laden
Verwandte Openclaw-Skills
Spotify Verlauf
Eine umfassende Integration für den Zugriff auf den Spotify-Hörverlauf, Top-Künstler und personalisierte Musikempfehlungen über die Spotify Web API.
Answer Overflow
Greifen Sie auf indexierte Discord-Supportkanäle zu, um gemeinschaftsbasierte Lösungen für technische Probleme zu finden.
Sitzungsabschluss (Session Wrap Up)
Ein Protokoll am Sitzungsende, das den Kontext bewahrt, das Langzeitgedächtnis aktualisiert und Workspace-Änderungen synchronisiert, um Kontinuität zu gewährleisten.
Giga Coding Agent
Ein Hochleistungs-Skill zum Ausführen von Background-First AI-Coding-Agents wie Codex und Claude Code mit Verzeichnis-Isolierung und paralleler Verarbeitung.
Skills finden
Eine Such- und Installations-Engine zur Erweiterung von KI-Agenten-Funktionen durch das offene Skill-Ökosystem.
Sitzungs-Speicher
Überbrückt die Lücke zwischen flüchtigen Chat-Protokollen und Langzeitgedächtnis, indem Sitzungen zusammengefasst und eine schlagwortbasierte Verlaufssuche ermöglicht wird.
Hervorgehoben*
