一種專業技能，使 AI 智能體能夠透過 UI 元素掃描、點擊和文本輸入來控制 Windows 應用程式。
安裝與下載
1. ClawHub CLI
從來源直接安裝技能的最快方式。
npx clawhub@latest install windows-ui-controller
2. 手動安裝
將技能資料夾複製到以下位置之一
~/.openclaw/skills/ <project>/skills/ 優先級：工作區 > 本地 > 內建
3. 提示詞安裝
將此提示詞複製到 OpenClaw 即可自動安裝。
請幫我使用 Clawhub 安裝 windows-ui-controller。如果尚未安裝 Clawhub，請先安裝（npm i -g clawhub）。
想要直接下載？
取得包含原生技能檔案的ZIP壓縮檔。
什麼是 Windows UI Controller？
windows-ui-controller 是一個專為 Windows 環境設計的強大自動化橋樑。它利用 pywinauto 庫，使 AI 智能體能夠與微信、QQ 和網易雲音樂等流行軟體的圖形用戶界面 (GUI) 進行交互。對於需要自動化處理缺乏原生 API 的桌面應用程式工作流的 Openclaw Skills 開發者來說，此工具至關重要。
透過提供掃描按鈕、輸入欄位和選單的結構化方法，此技能將 AI 從文本助手轉變為功能性的桌面操作員。它透過強制步驟驗證來強調可靠性，確保在執行下一個任務之前準確記錄每一次點擊和擊鍵。
Windows UI Controller 應用場景
- 在桌面聊天客戶端中自動化訊息發送和聯繫人管理。
- 簡化雲端儲存應用程式中的檔案上傳和下載。
- 在傳統的 Windows 企業軟體中執行重複性的資料錄入。
- 控制原生 Windows 實用程式中的媒體播放或設定。
- 協調涉及僅桌面端工具的跨應用程式工作流。
Windows UI Controller 運作原理
- AI 初始化該技能並掃描目標 Windows 應用程式，以構建可用 UI 控制項的映射。
- 使用智能識別邏輯識別特定元素，以區分搜尋欄和訊息輸入框等相似控制項。
- 該技能執行請求的動作，例如點擊按鈕或輸入文字字串。
- 在動作後立即執行驗證掃描，以確認 UI 已正確更新。
- 如果發生故障，系統會擷取視覺資料以診斷應用程式狀態並協助恢復。
Windows UI Controller 設定指南
確保您執行的是 Windows 10 或 11 且已安裝 Python 3.8+。要開始使用 Openclaw Skills 庫的此組件，請按照以下步驟操作：
透過 pip 在聯網環境中安裝：
pip install pywinauto
對於離線或物理隔離環境，請使用技能資料夾中包含的預打包依賴項：
cd dependencies
pip install --no-index --find-links=. pywinauto
Windows UI Controller 資料結構與分類體系
| 組件 | 詳細資訊 |
|---|---|
| 技能定義 | 包含元資料和作業系統要求的 SKILL.md。 |
| 文檔 | 提供廣泛 API 參考和最佳實踐的 README.md。 |
| 依賴項 | 包含 pywinauto、six、comtypes 和 pywin32 的 .whl 檔案的本地目錄。 |
| 目標作業系統 | Windows 10/11（建議使用 AMD64 架構以支援 pywin32）。 |
Windows UI Controller 進階特性
- 分步驗證協議，確保高可靠性的自動化序列。
- UI 控制項位置的智能快取，優化常用應用程式的速度。
- 利用截圖進行錯誤分析和調試的視覺輔助模組。
- 針對安全或受限環境部署的離線優先依賴管理。
- 支援複雜的 UI 層級，包括巢狀選單和多視窗應用程式。
SKILL.md
加載中
Openclaw 相關技能
精選*
