适用于 Openclaw 的 Web Crawling Html API

一种高性价比的 Web Crawling Html API 技能,可快速从任何目标 URL 获取原始 HTML 以进行抓取和分析。

justserpapi
v1.0.0
2026年6月10日
0
511
0

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install justserpapi-web-html

2. 手动安装

将技能文件夹复制到以下位置之一

全局模式
~/.openclaw/skills/
工作区
<project>/skills/

优先级:工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

请帮我使用 Clawhub 安装 justserpapi-web-html。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

什么是 Web Crawling Html API?

Web Crawling Html API 是一款高效、专注的工具,专为静态页面抓取、网页爬取、元数据提取和页面结构分析而设计。通过调用 GET /api/v1/web/html 接口,该技能可立即返回任何目标 URL 的完整原始 HTML 内容,无需进行复杂的爬虫设置。

该功能针对速度和成本效益进行了优化,可无缝集成到现代开发者工作流中。软件工程师可以将其与其他 Openclaw Skills 配合使用,直接将原始网页标记语言提供给语言模型、搜索索引或内容解析器。

Web Crawling Html API 应用场景

  • 从静态网站提取完整原始 HTML 内容,用于 NLP 或数据分析。
  • 将原始页面标记语言输入到 LLM 代理中,执行自动化网页抓取和结构化提取。
  • 执行 SEO 审计并分析网页结构或元数据标签。
  • 在使用 Openclaw Skills 的自动化代理流水线中从网络收集数据集。

Web Crawling Html API 工作原理

  1. AI 代理或用户执行该技能,并指定必要的 target url 参数。
  2. 系统通过 Node.js 触发 html 操作,将请求路由到 /api/v1/web/html 接口。
  3. Just Serp API 快速抓取目标网站并返回原始 HTML 数据包。
  4. 脚本在输出原始 JSON 响应数据包之前,会提供一个包含操作详情的简洁摘要。

Web Crawling Html API 配置指南

要部署此技能,请确保已安装 Node.js 并从 Just Serp 获取 API key。

环境设置

在环境中设置您的凭据:

export JUST_SERP_API_KEY="your_api_key_here"

运行技能

在本地或通过您的 AI 代理命令运行器执行该技能:

node {baseDir}/bin/run.mjs --operation "html" --api-key "$JUST_SERP_API_KEY" --params-json '{"url":"https://www.example.com"}'

Web Crawling Html API 数据架构与分类体系

输入参数

参数 位置 必需 类型 描述
url query 是 string 要抓取的网页完整 URL (例如 'https://www.example.com')

输出格式

该技能在显示简洁摘要后返回来自 API 的原始 JSON 数据包。输出重点包括:

  • 所选操作 ID (html)
  • 所使用的接口路径 (/api/v1/web/html)
  • 请求的目标 URL
  • 抓取页面的原始 HTML 数据包

Web Crawling Html API 高级特性

  • 极具成本效益,专为静态网页优化,减少网络开销。
  • 在多代理开发者工作流中实现无缝集成,利用 Openclaw Skills 解析和抓取网站。
  • 输出纯原始 HTML 内容,支持使用 BeautifulSoup、Cheerio 或 AI 模型等工具灵活解析数据。
  • 内置错误处理,输出精确的操作 ID 和后端数据包,便于快速调试。

SKILL.md


加载中

Openclaw 相关技能

METADATA

Requires
Bins node
Github Stars: 0
forks: 0

精选*