適用於 Openclaw 的 Web Scrape Plus

一款專為 AI 代理打造的增強型資料提取工具，具備 stealth 瀏覽器自動化、proxy 路由、速率限制和強大的結構化資料驗證功能。

534422530

v2.0.0

Jun 5, 2026

安裝

基本資訊

Skill.md

安裝與下載

1. ClawHub CLI

從來源直接安裝技能的最快方式。


                  npx clawhub@latest install web-scrape-plus

2. 手動安裝

將技能資料夾複製到以下位置之一

全域模式

~/.openclaw/skills/

工作區

<project>/skills/

優先級：工作區 > 本地 > 內建

3. 提示詞安裝

將此提示詞複製到 OpenClaw 即可自動安裝。


                  請幫我使用 Clawhub 安裝 web-scrape-plus。如果尚未安裝 Clawhub，請先安裝（npm i -g clawhub）。

想要直接下載？

取得包含原生技能檔案的ZIP壓縮檔。

什麼是 Web Scrape Plus？

Web Scrape Plus 是一款專為 Openclaw Skills 生態系統中的 AI 代理設計的高效能、高韌性資料提取工具。它透過在複雜的數位環境中執行 stealth 且具備韌性的操作，架起了原始網頁存取與結構化智慧之間的橋樑。無論是瀏覽簡單的靜態頁面，還是應對動態的登入受限 web 應用，該工具都能在確保高資料完整性的同時，保持不間斷的提取流。

該系統專為處理防禦性 web 拓撲而建構，引入了強大的規避層以減輕現代機器人偵測。透過將防禦性 web-scraping 元件原生整合到您的 AI 執行時期中，它能將任意 web 內容轉換為易於機器讀取的、經過清晰結構化、驗證和去重後的資料集。

Web Scrape Plus 應用場景

在商業、新聞或專業目標目錄中進行大規模資料探勘。\n- 從需要自動化瀏覽器互動的動態 JavaScript 重型單頁應用 (SPA) 中提取內容。\n- 透過 HTTP/SOCKS5 proxy 系統路由流量的自動化資料管道，以避免結構化 IP 封鎖。\n- 利用會話 cookie 從安全的登入受限 web 入口網站採集需要身分驗證的資料。

Web Scrape Plus 運作原理

目標評估：代理針對單一目標頁面測試提取參數，以評估底層文件結構。\n2. 方法選擇：根據 DOM 複雜度選擇最優的獲取協定（CSS/XPath、Headless Browser 或直接 HTTP API 客戶端）。\n3. 反偵測組裝：生成真實的執行時期 header、隨機化數位指紋、輪換 User-Agent 並分配動態網路視口。\n4. 限速分發：採用速率限制佇列，在可配置的時間視窗內安全地間隔伺服器請求。\n5. 驗證與管道解析：使用強大的 Pydantic 模式過濾傳入的回應，以斷言型別並丟棄損壞的負載。\n6. 去重：對提取的 key 進行回溯斷言，在寫入週期前清除重複條目。\n7. 輸出編組：將結構化文字編譯為可直接讀取的 JSON 或平面檔案 CSV 格式。\n8. 狀態清理：關閉活動的 Headless Browser 執行個體，安全重新整理內部快取，並重置會話狀態。

Web Scrape Plus 設定指南

安裝\n\n要在您的 Openclaw Skills 工作區中使用此擴充功能，請確保在執行時期環境中配置了套件相依性：\n\n```bash\npip install requests pydantic selenium

Web Scrape Plus 資料結構與分類體系

支援的輸出結構\n\n該系統可在多個輸出中簡潔地處理結構化資料序列化。\n\n#### 物件模式分類\n\n| 欄位 | 型別 | 描述 | 必填 |\n| :--- | :--- | :--- | :--- |\n| `title` | String | 目標元素的清洗後字串標題 | 是 |\n| `url` | String | 有效的目標 uniform resource locator | 是 |\n| `price` | Float | 解析出的數值評估指標 | 否 |\n| `description` | String | 從文件中提取的文字區塊內容 | 否 |\n\n#### 目標資料格式\n\n輸出結果將以匹配執行時期 Pydantic 表示形式的原始 JSON 陣列或平面表格 CSV 矩陣形式簡潔生成。

Web Scrape Plus 進階特性

反偵測指紋識別：內建隨機延遲、動態選擇 User-Agent 和視口隨機遮罩，以通過反 bot 屏障。\n- 多方法執行引擎：根據執行時期回饋，在靜態 web_fetch、瀏覽器自動化和直接 HTTP 客戶端互動之間動態切換策略。\n- 指數退避大修：具備韌性的連線處理程式，使用動態等待縮放自動重試目標操作，以規避間歇性請求丟棄。\n- 模式強制框架：整合的驗證器層可在最終儲存前清洗排版、剝離尾部空格並丟棄無效的結構項目。