高並列な Python ウェブクローラーと堅牢なデータ収集パイプラインを設計するための専門的なフレームワークです。
インストール＆ダウンロード
1. ClawHub CLI
レジストリから直接スキルをインストールする最速の方法です。
npx clawhub@latest install python-crawler-architect
2. 手動インストール
スキルフォルダを以下のいずれかの場所にコピーしてください
~/.openclaw/skills/ <project>/skills/ 優先順位：ワークスペース > ローカル > バンドル
3. プロンプトのインストール
このプロンプトをOpenClawにコピーするだけで、自動的にインストールされます。
Clawhubを使って python-crawler-architect をインストールして。Clawhubがインストールされていない場合は、先にインストールしてください（npm i -g clawhub）。
ダウンロードをご希望ですか？
ZIPアーカイブで生のスキルファイルを取得します。
Python クローラーアーキテクト & データエンジニア とは？
このスキルは、AI エージェントを、プロダクション環境レベルのデータ収集システムの設計と実装を専門とするシニア Python クローラーアーキテクトに変貌させます。最新の Python 標準を使用して、復元力、拡張性、保守性の高いスクレイピングインフラストラクチャの構築に焦点を当てています。これを Openclaw Skills ワークフローに統合することで、開発者は asyncio による非同期並行処理、SQLAlchemy 2.0 による構造化データの永続化、ブレークポイントからの再開などの高度な安定性機能を備えた複雑なクローラーの作成を自動化できます。
このスキルの核となる哲学は、安定性とアーキテクチャの完全性です。単純なスクリプトを超えて、階層的なエンティティのデータベースモデリングから洗練されたアンチクローラー対策の実装まで、フルスタックのエンジニアリングアプローチを提供します。大規模なデータセットを扱う場合でも、厳格なレート制限がある場合でも、このスキルは信頼性の高いデータ抽出を保証するために必要なテンプレートとロジックを提供します。
Python クローラーアーキテクト & データエンジニア のユースケース
- 大規模なデータ抽出のために、asyncio と aiohttp を使用して高並列ウェブクローラーを設計する。
- 複雑なリレーショナルデータセットを管理するために、SQLAlchemy ORM で堅牢なデータパイプラインを構築する。
- ネットワークやシステムの障害後にブレークポイントからの再開をサポートするステートフルなスクレイピングシステムを実装する。
- 高度なアンチクローラーメカニズムをバイパスするために、大規模な proxy プールの管理と User-Agent のローテーションを行う。
- 生の非構造化ウェブデータのデータクリーニングと変換プロセスを標準化する。
Python クローラーアーキテクト & データエンジニア の仕組み
- SQLAlchemy ORM を使用してデータ収集の基盤を定義するために、まずデータベースモデリングを実行します。
- CrawlerManager、ProxyPool、StateManager を含むコアなクローラーモジュールを構築します。
- ターゲットサイトの API または HTML 構造に基づいて、特定のパースロジックと階層的な収集戦略を開発します。
- 厳格な型安全性、カスタム例外処理、包括的なロギングを備えた完全なコードベースを実装します。
- 環境変数の設定や依存関係の管理を含む、詳細なデプロイの提案を提供します。
Python クローラーアーキテクト & データエンジニア のセットアップ
プロジェクト内でこのスキルを開始するには、次のコマンドを使用して必要な依存関係をインストールしてください。
# コアな非同期およびデータベースの依存関係をインストールする
pip install aiohttp sqlalchemy loguru pydantic-settings python-dotenv
# データベースドライバのインストール（PostgreSQL の例）
pip install psycopg2-binary
Openclaw Skills の使用中に資格情報を安全に保つために、DATABASE_URL や PROXY_LIST などの構成を管理する .env ファイルを作成してください。
Python クローラーアーキテクト & データエンジニア のデータスキーマとタクソノミー
このスキルは、関心の分離を確実にするために、モジュール化されたアーキテクチャを使用してデータを整理します。
| モジュール | 説明 |
|---|---|
| Models | 自動化されたタイムスタンプとインデックス作成機能を備えた SQLAlchemy 2.0 ORM エンティティ。 |
| Crawler Core | リクエスト処理、proxy ローテーション、タスクスケジューリングのロジック。 |
| State Management | フォルトトレランスのために completed_ids と progress を追跡する JSON ベースのスキーマ。 |
| Utils | データクリーニング、User-Agent ローテーション、レート制限のためのヘルパー関数。 |
すべてのデータベースフィールドは、データの整合性を確保するために、説明的なコメントと適切な SQL 制約を付けて生成されます。
Python クローラーアーキテクト & データエンジニア の高度な機能
- IP バンの発生を防ぎ、リクエスト頻度を管理するためのトークンバケットレート制限。
- 失敗したノードを動的にブラックリストに登録し、成功時にリセットする自動化された proxy ヘルスチェック。
- 一時的なネットワークエラーを適切に処理するための、指数バックオフ再試行デコレータ。
- 市 > 区 > 町のような複雑なスクレイピングタスクのための、階層的な 1 対 N の関係モデリング。
- 予期しないプロセス終了時でも進捗が失われないようにするための、アトミックな状態更新。
- デスクトップとモバイルの両方のブラウザプロファイルをサポートする包括的な User-Agent ローテーション。
SKILL.md
ローディング
関連するOpenclawのスキル
Free Music AI Generator
シンプルな自然言語プロンプトを使用して、ロイヤリティフリーなAI背景音楽と1080pビデオエクスポートを生成します。
IMDb Streaming Picks API
厳選された IMDb ストリーミングピックおよびプラットフォーム固有のコンテンツの推奨事項を取得するためのプロフェッショナルな API スキルです。
Clipboard CLI Tool
ターミナルのワークフローとシステムのクリップボードの間のギャップを埋め、シームレスなデータ操作を実現するために設計された堅牢なコマンドラインユーティリティです。
IMDb Awards Summary API
業界のベンチマーキングや調査のために、包括的な IMDb タイトルの受賞およびノミネートデータを取得する AI 駆動のスキルです。
API Billing & Balance Tracker
主要な AI およびクラウド インフラストラクチャ プロバイダーのアカウント残高と請求履歴を監視するための専用ユーティリティです。
自動投稿スキル
完全自動化または human-in-the-loop ソーシャルメディアおよびウェブ公開のための、洗練されたマルチエージェント・オーケストレーション・スキルです。
特徴*
