AI 에이전트를 위해 마우스, 키보드 및 화면 작업에 대한 픽셀 단위의 정밀한 제어를 제공하는 포괄적인 자동화 제품군입니다.
설치 및 다운로드
1. ClawHub CLI
레지스트리에서 스킬을 바로 설치하는 가장 빠른 방법입니다.
npx clawhub@latest install control
2. 수동 설치
스킬 폴더를 다음 위치 중 하나로 복사하세요
~/.openclaw/skills/ <project>/skills/ 우선순위: 워크스페이스 > 로컬 > 번들
3. 프롬프트 설치
이 프롬프트를 OpenClaw에 복사하면 자동으로 설치됩니다.
Clawhub를 사용해서 control 설치를 도와줘. Clawhub가 설치되어 있지 않다면 먼저 설치해 줘 (npm i -g clawhub).
다운로드를 원하시나요?
ZIP 아카이브 형태의 원본 스킬 파일을 받으세요.
데스크톱 제어 기술란 무엇인가요?
데스크톱 제어 기술은 AI 에이전트가 데스크톱 환경과 직접 상호 작용할 수 있게 해주는 기본 인터페이스입니다. Openclaw Skills 에코시스템의 핵심 구성 요소로서, 마우스 위치 지정, 키보드 입력 시뮬레이션 및 고급 창 관리에 필요한 로우 레벨 후크를 제공합니다. 이 기술을 통합함으로써 개발자는 에이전트의 기능을 터미널을 넘어 시각적 작업 공간으로 확장할 수 있습니다.
이 라이브러리는 자동화된 추론과 GUI 상호 작용 사이의 간극을 메우는 데 탁월합니다. 복잡한 레거시 소프트웨어를 탐색하거나 고속으로 양식을 채우는 등, Openclaw Skills에 추가된 이 기술은 에이전트가 전문가 수준의 데스크톱 자동화에 필요한 정밀도와 안전 메커니즘을 갖추도록 보장합니다.
데스크톱 제어 기술 활용 사례
- 데스크톱 양식 및 레거시 애플리케이션 전반에서 반복적인 데이터 입력을 자동화합니다.
- 특정 화면 영역이나 창을 자동으로 캡처하여 시각적 문서를 생성합니다.
- 소프트웨어 개발 워크플로우를 위해 복잡한 다중 키 바로 가기 및 단축키 시퀀스를 실행합니다.
- 이미지 인식을 사용하여 요소를 찾는 자동화된 UI 테스트 스크립트를 작성합니다.
- 드래그 앤 드롭 작업 및 다중 선택 키보드 수정자를 통해 파일 시스템을 관리합니다.
데스크톱 제어 기술 작동 원리
- AI 에이전트가 DesktopController를 초기화하여 OS 레벨의 입력 시뮬레이션에 필요한 드라이버를 로드합니다.
- 기술이 왼쪽 상단(0,0) 모서리부터 시작하는 화면 좌표계를 매핑하여 논리적 명령을 물리적 커서 이동으로 변환합니다.
- 키보드 입력은 즉시 입력과 인간과 유사한 속도 시뮬레이션을 모두 지원하는 구성 가능한 버퍼를 통해 처리됩니다.
- 시각적 작업의 경우, 기술이 현재 화면 상태를 캡처하고 이미지 처리를 사용하여 UI 구성 요소를 동적으로 식별합니다.
- 커서가 화면 모서리로 이동할 경우 작업을 중단하는 비상 안전 장치(failsafe)를 포함하여 모든 작업이 안전 계층으로 래핑됩니다.
데스크톱 제어 기술 설정 가이드
이 특정 Openclaw Skills 세트를 시작하려면 먼저 핵심 자동화 종속성을 설치해야 합니다.
pip install pyautogui pillow opencv-python pygetwindow
설치가 완료되면 Python 환경 내에서 컨트롤러를 초기화하여 데스크톱 작업 자동화를 시작하십시오.
from skills.desktop_control import DesktopController
dc = DesktopController(failsafe=True)
데스크톱 제어 기술 데이터 스키마 및 분류 체계
데스크톱 제어 기술은 좌표계, 이미지 버퍼 및 창 메타데이터를 사용하여 데이터를 구성합니다. 아래는 기술에서 활용되는 주요 데이터 구조입니다.
| 데이터 요소 | 유형 | 설명 |
|---|---|---|
| 좌표 | (int, int) | 기본 또는 보조 디스플레이의 절대 (x, y) 픽셀 값입니다. |
| 화면 영역 | (l, t, w, h) | 대상 캡처를 위한 왼쪽, 위쪽, 너비 및 높이를 정의하는 튜플입니다. |
| 픽셀 색상 | (r, g, b) | 특정 화면 위치에서 추출된 RGB 색상 값입니다. |
| 창 개체 | String/Handle | 관리를 위한 창 제목 및 가시성 상태를 포함한 메타데이터입니다. |
데스크톱 제어 기술 고급 기능
- 자연스럽고 인간과 유사한 마우스 상호 작용을 위한 부드러운 베지에 곡선 이동 경로.
- 템플릿 매칭 및 이미지 기반 요소 감지를 위한 통합 OpenCV 지원.
- 위험도가 높은 자동화 작업 전에 수동 사용자 확인을 요구하는 승인 모드.
- 확장 데스크톱 및 복잡한 좌표 매핑을 처리하기 위한 멀티 모니터 지원.
- 표준 타이핑 속도를 우회하거나 모방하기 위한 구성 가능한 WPM(분당 단어 수) 설정.
SKILL.md
로드 중
관련 Openclaw 스킬
Spotify 히스토리
Spotify Web API를 통해 Spotify 청취 기록, 인기 아티스트 및 맞춤형 음악 추천에 액세스하기 위한 종합적인 통합 도구입니다.
세션 마무리 (Session Wrap Up)
컨텍스트를 보존하고 장기 메모리를 업데이트하며 워크스페이스 변경 사항을 동기화하여 연속성을 보장하는 세션 종료 프로토콜입니다.
Giga Coding Agent
디렉토리 격리 및 병렬 처리를 통해 Codex 및 Claude Code와 같은 백그라운드 우선 AI 코딩 에이전트를 실행하기 위한 고성능 스킬입니다.
SnapTrade 포트폴리오
SnapTrade를 통해 브로커리지 계정을 연결하여 잔액을 모니터링하고 주식 거래를 자동으로 실행하는 종합 도구입니다.
추천*
