一個用於設計高併發 Python 網路爬蟲和健壯數據採集管道的專業框架。
安裝與下載
1. ClawHub CLI
從來源直接安裝技能的最快方式。
npx clawhub@latest install python-crawler-architect
2. 手動安裝
將技能資料夾複製到以下位置之一
~/.openclaw/skills/ <project>/skills/ 優先級：工作區 > 本地 > 內建
3. 提示詞安裝
將此提示詞複製到 OpenClaw 即可自動安裝。
請幫我使用 Clawhub 安裝 python-crawler-architect。如果尚未安裝 Clawhub，請先安裝（npm i -g clawhub）。
想要直接下載？
取得包含原生技能檔案的ZIP壓縮檔。
什麼是 Python 爬蟲架構師與數據工程師？
這項技能將 AI 代理轉變為資深 Python 爬蟲架構師，專注於生產級數據採集系統的設計與實現。它致力於使用現代 Python 標準構建具有彈性、可擴展且易於維護的抓取基礎設施。透過將其集成到 Openclaw Skills 工作流中，開發人員可以自動化創建複雜的爬蟲，這些爬蟲具有 asyncio 異步併發、透過 SQLAlchemy 2.0 實現的結構化數據持久化以及斷點續傳等高級穩定性功能。
該技能的核心哲學是穩定性和架構完整性。它超越了簡單的腳本，提供全疊全工程方法，涵蓋從分層實體的資料庫建模到複雜的反爬蟲對策實施。無論您是在處理海量數據集還是嚴格的速率限制，此技能都提供了確保可靠數據提取所需的模板和邏輯。
Python 爬蟲架構師與數據工程師 應用場景
- 使用 asyncio 和 aiohttp 設計高併發網頁爬蟲，用於海量數據提取。
- 使用 SQLAlchemy ORM 構建健壯的數據管道，以管理複雜的關聯數據集。
- 實現支持網路或系統故障後斷點續傳的有狀態抓取系統。
- 管理大規模 proxy 池並輪換 User-Agent 以繞過高級反爬蟲機制。
- 標準化原始非結構化網頁數據的清洗和轉換流程。
Python 爬蟲架構師與數據工程師 運作原理
- 首先進行資料庫建模，使用 SQLAlchemy ORM 定義數據採集的基礎。
- 架構核心爬蟲模組，包括 CrawlerManager、ProxyPool 和 StateManager。
- 根據目標站點的 API 或 HTML 結構開發特定的解析邏輯和分層採集策略。
- 實現具有嚴格類型安全、自定義異常處理和全面日誌記錄的完整代碼庫。
- 提供詳細的部署建議，包括環境變量設置和依賴管理。
Python 爬蟲架構師與數據工程師 設定指南
要在項目中使用此技能，請使用以下命令安裝所需的依賴項：
# 安裝核心異步和資料庫依賴項
pip install aiohttp sqlalchemy loguru pydantic-settings python-dotenv
# 安裝資料庫驅動程序（以 PostgreSQL 為例）
pip install psycopg2-binary
創建一個 .env 文件來管理您的配置，如 DATABASE_URL 和 PROXY_LIST，以便在使用 Openclaw Skills 時確保憑據安全。
Python 爬蟲架構師與數據工程師 資料結構與分類體系
該技能使用模組化架構組織數據，以確保關注點分離：
| 模組 | 描述 |
|---|---|
| Models | 具有自動時間戳和索引功能的 SQLAlchemy 2.0 ORM 實體。 |
| Crawler Core | 請求處理、proxy 輪換和任務調度的邏輯。 |
| State Management | 基於 JSON 的架構，跟蹤 completed_ids 和 progress 以實現容錯。 |
| Utils | 用於數據清洗、User-Agent 輪換和速率限制的輔助函數。 |
所有資料庫字段生成時都帶有描述性註釋和適當的 SQL 約束，以確保數據完整性。
Python 爬蟲架構師與數據工程師 進階特性
- 令牌桶速率限制，防止觸發 IP 封禁並管理請求頻率。
- 自動 proxy 健康檢查，動態將失敗節點列入黑名單並在成功時重置。
- 用於優雅處理瞬時網路錯誤的指數退避重試裝飾器。
- 用於複雜抓取任務（如城市 > 區縣 > 街道）的分層 1 對 N 關係建模。
- 原子狀態更新，確保即使在意外進程終止期間進度也不會丟失。
- 支持桌面和移動瀏覽器配置文件的全面 User-Agent 輪换。
SKILL.md
加載中
Openclaw 相關技能
精選*
