Openclaw向けPersistent Browser Scraper

永続的なブラウザコンテキストを使用して主要なプラットフォームでログインセッションを維持する、AI エージェント向けの特殊なウェブスクレイピングツールです。

ckncg
v1.0.0
Mar 21, 2026
0
896
0

インストール&ダウンロード

1. ClawHub CLI

レジストリから直接スキルをインストールする最速の方法です。

npx clawhub@latest install persistent-browser

2. 手動インストール

スキルフォルダを以下のいずれかの場所にコピーしてください

グローバル
~/.openclaw/skills/
ワークスペース
<project>/skills/

優先順位:ワークスペース > ローカル > バンドル

3. プロンプトのインストール

このプロンプトをOpenClawにコピーするだけで、自動的にインストールされます。

Clawhubを使って persistent-browser をインストールして。Clawhubがインストールされていない場合は、先にインストールしてください(npm i -g clawhub)。

ダウンロードをご希望ですか?

ZIPアーカイブで生のスキルファイルを取得します。

Persistent Browser Scraper とは?

Persistent Browser Scraper は、Playwright を活用して継続的な main-identity セッションを維持するように設計された Openclaw Skills 用の強力なユーティリティです。永続的なユーザーデータディレクトリを利用することで、AI エージェントが匿名ブラウジングの制限を回避し、X (Twitter)、GitHub、HuggingFace などの通常認証が必要なプラットフォームからデータにアクセスして抽出することを可能にします。

このスキルは、現代のシングルページアプリケーション (SPAs) の複雑さを処理するように特別に設計されています。X などのプラットフォームにおけるアンチボット対策との互換性を確保するために非 headless モードで動作し、AI エージェントが空白ページやログインプロンプトではなく、完全にレンダリングされたコンテンツを確実に受信できるようにします。

Persistent Browser Scraper のユースケース

  • GitHub や HuggingFace 上のプライベートまたはパーソナライズされたコンテンツへのアクセス。
  • X/Twitter や Reddit 上のリアルタイムの議論やトレンドの監視。
  • ユーザーコンテキスト内での YouTube 動画からのメタデータや文字起こしの抽出。
  • Kaggle のコンペティションやデータセットからのデータ収集の自動化。
  • 永続的なログイン状態を必要とするウェブベースの情報のリサーチ。

Persistent Browser Scraper の仕組み

  1. AI エージェントが、外部のウェブ検索や特定のプラットフォームへのアクセスが必要なリクエストを特定します。
  2. システムが、プロセスの競合を防ぐためにユーザーデータディレクトリ内の既存の SingletonLock を自動的にクリアします。
  3. main-identity プロファイルを指す launch_persistent_context メソッドを使用して Playwright インスタンスを起動します。
  4. ブラウザは、プラットフォーム固有のレンダリング要件を満たすために、可視(非 headless)ウィンドウでターゲット URL に移動します。
  5. スクリプトは、JavaScript のハイドレーションと SPA のレンダリングを可能にするために、コンテキストに応じた待機時間(例:X の場合は 8000ms)を実装します。
  6. 関連するテキストコンテンツが DOM から抽出されてエージェントに返され、ブラウザコンテキストは安全に閉じられます。

Persistent Browser Scraper のセットアップ

これを Openclaw Skills ライブラリに統合するには、Playwright がインストールされ、ローカルのプロファイルディレクトリが初期化されていることを確認してください。

# Install Playwright dependencies
pip install playwright
playwright install chromium

# Ensure the profile directory exists
mkdir -p /home/kncao/.openclaw/browser-profiles/main-identity

# Clear lock files before execution
rm -f /home/kncao/.openclaw/browser-profiles/main-identity/SingletonLock

Persistent Browser Scraper のデータスキーマとタクソノミー

このスキルはローカルのディレクトリ構造を通じて状態を管理し、異なるドメインに対して特定のタイミングスキーマに従います。

Platform Wait Time (ms) Rendering Type
X/Twitter 8000 React SPA
YouTube 6000 Lazy Loading
GitHub 3000 SSR
HuggingFace 5000 React
Reddit 6000 Hybrid SSR/JS
Kaggle 8000 React SPA

すべてのメタデータとセッション cookies は main-identity フォルダに保存され、セッションをまたいで永続的なログイン状態が確保されます。

Persistent Browser Scraper の高度な機能

  • シームレスな認証済みブラウジングのための launch_persistent_context による永続的なアイデンティティ管理。
  • マルチコール環境での高い信頼性を確保するための SingletonLock の自動クリーンアップ。
  • 無効化された AutomationControlled フラグや no-sandbox 引数を含む Stealth 設定。
  • 特定の高トラフィックウェブプラットフォームのパフォーマンス特性に最適化された動的なハイドレーション遅延。
  • X/Twitter の空白ページ防止スクレイピングロジックを回避するために特別に調整された非 headless 実行モード。

SKILL.md


ローディング

関連するOpenclawのスキル

METADATA

Github Stars: 0
forks: 0

特徴*