適用於 Openclaw 的 持久化瀏覽器爬蟲

一種專為 AI 代理設計的網頁擷取工具,透過持久化瀏覽器上下文在主要平台維持登入工作階段。

ckncg
v1.0.0
Mar 21, 2026
0
918
0

安裝與下載

1. ClawHub CLI

從來源直接安裝技能的最快方式。

npx clawhub@latest install persistent-browser

2. 手動安裝

將技能資料夾複製到以下位置之一

全域模式
~/.openclaw/skills/
工作區
<project>/skills/

優先級:工作區 > 本地 > 內建

3. 提示詞安裝

將此提示詞複製到 OpenClaw 即可自動安裝。

請幫我使用 Clawhub 安裝 persistent-browser。如果尚未安裝 Clawhub,請先安裝(npm i -g clawhub)。

想要直接下載?

取得包含原生技能檔案的ZIP壓縮檔。

什麼是 持久化瀏覽器爬蟲?

持久化瀏覽器爬蟲是一個為 Openclaw Skills 設計的強大公用程式,它利用 Playwright 來維持連續的 main-identity 工作階段。透過使用持久化使用者數據目錄,它允許 AI 代理繞過匿名瀏覽的限制,使它們能夠存取並從通常需要身份驗證的平台(如 X (Twitter)、GitHub 和 HuggingFace)中擷取數據。

該技能專為處理現代單頁應用程式 (SPAs) 的複雜性而設計。它以非 headless 模式運作,以確保與 X 等平台的反爬蟲措施相容,確保 AI 代理接收到完整的渲染內容,而不是空白頁面或登入提示。

持久化瀏覽器爬蟲 應用場景

  • 存取 GitHub 和 HuggingFace 上的私人或個人化內容。
  • 監控 X/Twitter 和 Reddit 上的即時討論和趨勢。
  • 在使用者上下文中從 YouTube 影片中擷取中繼資料和轉錄文本。
  • 自動化從 Kaggle 競賽和數據集中收集數據。
  • 研究需要持久登入狀態的網頁資訊。

持久化瀏覽器爬蟲 運作原理

  1. AI 代理識別出一個需要外部網路搜尋或特定平台存取的請求。
  2. 系統自動清除使用者數據目錄中現有的任何 SingletonLock,以防止程序衝突。
  3. 使用 launch_persistent_context 方法啟動一個指向 main-identity 設定檔的 Playwright 實例。
  4. 瀏覽器在可見(非 headless)視窗中導覽至目標 URL,以滿足特定平台的渲染需求。
  5. 腳本實作上下文感知的等待時間(例如,X 為 8000ms),以允許 JavaScript 注入 (hydration) 和 SPA 渲染。
  6. 從 DOM 中擷取相關的文字內容並回傳給代理,同時安全地關閉瀏覽器上下文。

持久化瀏覽器爬蟲 設定指南

要將此整合到您的 Openclaw Skills 函式庫中,請確保已安裝 Playwright 並已初始化本地設定檔目錄。

# Install Playwright dependencies
pip install playwright
playwright install chromium

# Ensure the profile directory exists
mkdir -p /home/kncao/.openclaw/browser-profiles/main-identity

# Clear lock files before execution
rm -f /home/kncao/.openclaw/browser-profiles/main-identity/SingletonLock

持久化瀏覽器爬蟲 資料結構與分類體系

該技能透過本地目錄結構管理其狀態,並遵循針對不同網域的特定時間模式:

Platform Wait Time (ms) Rendering Type
X/Twitter 8000 React SPA
YouTube 6000 Lazy Loading
GitHub 3000 SSR
HuggingFace 5000 React
Reddit 6000 Hybrid SSR/JS
Kaggle 8000 React SPA

所有中繼資料和工作階段 cookies 都儲存在 main-identity 資料夾中,確保跨工作階段的持久登入狀態。

持久化瀏覽器爬蟲 進階特性

  • 透過 launch_persistent_context 進行持久身份管理,實現無縫的身份驗證瀏覽。
  • 自動清除 SingletonLock,確保在多次呼叫環境中的高可靠性。
  • Stealth 配置,包括停用 AutomationControlled 標誌和 no-sandbox 參數。
  • 針對特定高流量網路平台的效能特性優化的動態注入延遲。
  • 專門針對繞過 X/Twitter 空白頁反擷取邏輯而調整的非 headless 執行模式。

SKILL.md


加載中

Openclaw 相關技能

METADATA

Github Stars: 0
forks: 0

精選*