Eine macOS-Automatisierungsfunktion, die es AI-Agenten ermöglicht, den Cursor und die Tastatur über cliclick-Befehle zu steuern.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install mouse-keyboard
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, mouse-keyboard über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist Maus- und Tastatursteuerung?
Die Maus- und Tastatursteuerungsfunktion ermöglicht es Ihrem AI-Agenten, direkt mit der macOS-Oberfläche zu interagieren, indem er das cliclick-Dienstprogramm nutzt. Diese Integration ermöglicht eine präzise Kontrolle über den Mauscursor und die Tastatureingaben und schließt die Lücke zwischen automatisierten Skripten und GUI-basierten Anwendungen. Durch die Nutzung dieses Openclaw Skills-Beitrags können Entwickler sich wiederholende Desktop-Aufgaben automatisieren, denen die native API-Unterstützung fehlt.
Ob es um die Navigation in Legacy-Software, die Durchführung von UI-Tests oder die Verwaltung von Interaktionen auf Systemebene geht, diese Funktion bietet eine zuverlässige Brücke für die macOS-Automatisierung. Sie übersetzt High-Level-Agenten-Intentionen in Low-Level-Systemereignisse wie Klicks, Doppelklicks und komplexe Tastenkombinationen.
Maus- und Tastatursteuerung Anwendungsfälle
- Automatisierung von Interaktionen mit macOS-Desktop-Anwendungen, die keine öffentliche API bereitstellen.
- Durchführung automatisierter UI- und Regressionstests für Frontend- und Desktop-Software.
- Optimierung wiederkehrender Dateneingabeaufgaben durch Kombination von Mausbewegungen mit Texteingabe.
- Autonome Ausführung von Tastenkombinationen auf Systemebene und Navigationsbefehlen.
- Unterstützung bei der Workflow-Automatisierung, die den Wechsel zwischen mehreren Desktop-Fenstern erfordert.
So funktioniert Maus- und Tastatursteuerung
- Der AI-Agent identifiziert eine erforderliche UI-Aktion, wie das Klicken auf eine Schaltfläche oder das Tippen in ein Feld.
- Die Funktion nutzt das exec-Tool, um die Logik des Agenten mit der macOS-System-Shell zu verbinden.
- Ein spezifischer cliclick-Befehl wird basierend auf der gewünschten Aktion formatiert (z. B. c:X,Y für Klicken oder t:text für Tippen).
- Das System führt den Befehl aus und simuliert physische Benutzereingaben auf der Hardware-Abstraktionsebene.
- Der Agent erhält eine Bestätigung der Ausführung und kann mit dem nächsten Schritt im Workflow fortfahren.
Maus- und Tastatursteuerung Einrichtung
Um diese Funktion zu nutzen, muss cliclick auf Ihrem macOS-System installiert sein. Sie können es über Homebrew installieren:
brew install cliclick
Stellen Sie nach der Installation sicher, dass Ihr Terminal oder Ihre AI-Agenten-Umgebung unter Systemeinstellungen > Datenschutz & Sicherheit über die erforderlichen Bedienungshilfen-Berechtigungen verfügt.
Maus- und Tastatursteuerung Datenschema & Taxonomie
Die Funktion arbeitet mit einem koordinatenbasierten System und spezifischen Aktionspräfixen. Die Daten sind nach Bildschirmraum-Mapping organisiert, wobei der Ursprung (0,0) die obere linke Ecke ist.
| Befehlspräfix | Aktion | Beispiel |
|---|---|---|
c:X,Y |
Klick an Koordinaten | c:500,300 |
m:X,Y |
Cursor bewegen | m:100,100 |
t:text |
String tippen | t:hello |
kp:key |
Spezifische Taste drücken | p:return |
w:ms |
Warten/Pause | w:500 |
Maus- und Tastatursteuerung Erweiterte Funktionen
- Unterstützung für relative Positionierung mit dem Präfix ~, um den Cursor relativ zu seiner aktuellen Position zu bewegen.
- Fähigkeit, mehrere Befehle in einer einzigen Ausführung für Hochgeschwindigkeits-Makroleistung zu verketten.
- Unterstützung für Modifikatortasten (cmd, alt, ctrl, shift) zur Ausführung komplexer System-Shortcuts.
- Integration mit osascript für die Handhabung fortgeschrittener Logik über einfache Tastendrücke hinaus.
- Koordinatenabruf über das Flag „Aktuelle Position drucken“ (p) für dynamische Skriptkalibrierung.
SKILL.md
Laden
Verwandte Openclaw-Skills
OpenClaw Scheduler Token Auditor
Ein technisches Audit-Tool zur Überwachung und Untersuchung des token-Verbrauchs bei geplanten Cron-Jobs und Heartbeat-Sitzungen.
Vyper Reference Tool
Ein spezialisiertes technisches Referenz-Tool für Entwickler, die sichere und effiziente Smart Contracts mit der Programmiersprache Vyper erstellen.
SalesBlink
SalesBlink für Openclaw Skills ermöglicht es AI Agents, Outbound-Vertriebs-, E-Mail-Outreach- und Lead-Generierungs-Workflows über die Membrane CLI zu automatisieren.
Regex Toolkit
Ein leistungsstarkes CLI-Tool zum Testen, Abgleichen, Extrahieren und Erklären regulärer Ausdrücke mit einer Bibliothek von über 25 vordefinierten Mustern.
macOS AppleScript Fallback
Ein robuster Automatisierungs-Skill, der zuverlässige Shell- und AppleScript-Fallbacks für zentrale macOS-Produktivitätsanwendungen bietet.
Share Momentum
Ein strategisches Analysetool zur Verfolgung von Marktanteilsverschiebungen und Wettbewerbsdynamik zur Unterstützung hochrangiger Geschäftsentscheidungen.
Hervorgehoben*
