一款高性能网页抓取工具，旨在绕过反爬保护并将网页内容转换为供 AI 代理使用的整洁 Markdown。
安装与下载
1. ClawHub CLI
从源直接安装技能的最快方式。
npx clawhub@latest install scrapling-fetch-basic
2. 手动安装
将技能文件夹复制到以下位置之一
~/.openclaw/skills/ <project>/skills/ 优先级：工作区 > 本地 > 内置
3. 提示词安装
将此提示词复制到 OpenClaw 即可自动安装。
请帮我使用 Clawhub 安装 scrapling-fetch-basic。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
更倾向于下载？
获取包含原生技能文件的ZIP压缩包。
什么是 Scrapling Fetch Basic？
Scrapling Fetch Basic 是 Openclaw Skills 生态系统中一款强大的入门级工具，专为高效网页数据提取而设计。它擅长抓取博客、新闻网站和公共公告等静态页面的内容。通过集成先进的智能提取逻辑，它无需手动配置 CSS 选择器即可识别核心文章文本。
该技能通过将复杂的 HTML 自动转换为整洁、结构化的 Markdown，在原始网页数据与 AI 就绪信息之间搭建了无缝桥梁。无论您处理的是标准网站还是受 Cloudflare 保护的页面，该工具都能通过其灵活的运行模式确保高质量的数据检索。
Scrapling Fetch Basic 应用场景
- 抓取博客文章和新闻报道以填充知识库
- 提取技术文档或公共公告供 AI 分析
- 在研究过程中绕过 Cloudflare Turnstile 等基础反爬系统
- 将旧版网站的内容自动迁移到基于 Markdown 的平台
Scrapling Fetch Basic 工作原理
- 用户提供目标 URL，并在基础（快速 HTTP）或 Stealth（无头浏览器）模式之间进行选择。
- 在 Stealth 模式下，该技能利用带有浏览器指纹识别的 Playwright 来模拟人类行为并绕过保护层。
- 系统执行包含 11 个智能选择器的优先级瀑布流，以准确准确定位主要内容主体。
- 提取的 HTML 通过 html2text 引擎处理，以去除噪点并将文本格式化为 Markdown。
- 最终输出根据用户的偏好以原始字符串或结构化 JSON 对象的形式交付。
Scrapling Fetch Basic 配置指南
要将其集成到您的工作流中，请确保您已为 Openclaw Skills 设置了必要的环境。安装核心依赖项并使用以下命令：
# 静态页面的基础抓取
python3 scripts/scrapling_fetch.py https://example.com/article
# 为受保护网站使用 Stealth 模式抓取
python3 scripts/scrapling_fetch.py https://protected-site.com --mode stealth
# 以 JSON 格式输出结果用于自动化流水线
python3 scripts/scrapling_fetch.py https://example.com --json
Scrapling Fetch Basic 数据架构与分类体系
该技能通过优先处理结构化元素来组织数据，以确保内容的完整性。以下是提取逻辑的 schema：
| 特性 | 描述 |
|---|---|
| 输出格式 | Markdown (默认) 或 JSON |
| 字符限制 | 默认 30,000 字符 (可自定义) |
| 选择器层级 | 11 步回退机制 (article > main > .post-content > body) |
| 引擎 | 带有 html2text 转换的 scrapling 核心 |
Scrapling Fetch Basic 高级特性
- Stealth 模式集成：使用无头浏览器自动化导航具有 Cloudflare Turnstile 和其他爬虫检测的网站。
- 智能内容检测：自动扫描 11 种不同的内容签名（如
.entry-content或[class*='body']）以从噪声中寻找信号。 - 灵活的输出控制：支持自定义字符限制，以优化 LLM 处理的 token 使用。
- Openclaw Skills 兼容性：专为 Openclaw 生态系统原生工作而构建，适用于多代理研究工作流。
SKILL.md
加载中
Openclaw 相关技能
Rules of the Claw
一个经过实战检验的 OpenClaw Guardian 确定性正则表达式规则库，包含 56 条规则，在工具层阻断高风险代理行为，无需 LLM 开销。
Cristiano Ronaldo (C罗) 信息助手
一个致力于为足球传奇人物 Cristiano Ronaldo C罗 提供实时传记、职业里程碑和社交媒体更新的综合数字助手。
精选*
