适用于 Openclaw 的 产品数据采集

一个强大的任务管理技能,用于通过中心化 HTTP API 协调分布式产品数据采集工作程序。

rowin90
v1.0.1
2026年3月28日
0
680
0

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install product-data-collection

2. 手动安装

将技能文件夹复制到以下位置之一

全局模式
~/.openclaw/skills/
工作区
<project>/skills/

优先级:工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

请帮我使用 Clawhub 安装 product-data-collection。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

什么是 产品数据采集?

product-data-collection 技能为管理大规模产品信息抓取提供了一个标准化的框架。它促进了采集工作程序(如浏览器扩展或自动化脚本)与中央任务服务器之间的通信。通过利用 Openclaw Skills,开发人员可以实现复杂的爬虫工作流,高度可靠地处理任务分发、状态跟踪和数据持久化。

此技能专为管理特定商品的采集点而设计,包括规格、车辆兼容性和套件组件。它通过执行严格的任务类型和成功负载规则来确保数据完整性,从而允许无缝集成到现有的产品数据库和仪表板环境中。

产品数据采集 应用场景

  • 为大规模电子商务抓取编排分布式浏览器扩展工作程序。
  • 管理高优先级任务队列以实现实时产品数据更新。
  • 使用唯一商品标识符为产品目录实现批量 upsert 操作。
  • 通过批量状态重置自动恢复失败的采集任务。

产品数据采集 工作原理

  1. 任务通过 /create 接口初始化,其中商品被批量处理并分配 taskVersionName 以进行隔离。
  2. 采集工作程序(作为 content scripts 或 CLI 工具运行)调用 /pick 接口来申领下一个可用的排队任务。
  3. 领取任务后,状态转换为 collecting 以防止重复处理。
  4. 工作程序从目标 URL 中提取 DOM 数据,例如规格和车辆信息。
  5. 结果通过 /update 接口提交;如果成功,服务器会自动将数据 upsert 到主集合中。

产品数据采集 配置指南

要开始使用此技能,请配置环境变量以指向您的采集后端。请勿在脚本中硬编码这些值。

# 设置您的 API 基础 URL 和身份验证令牌
export PRODUCT_DATA_COLLECTION_BASE_URL="https://your-api-host.com"
export PRODUCT_TASK_AUTH="Bearer your_secure_token"

# 技能将在内部解析任务接口
TASK="${PRODUCT_DATA_COLLECTION_BASE_URL}/api/ebay_product/task"

产品数据采集 数据架构与分类体系

该技能通过为电子商务属性优化的结构化 JSON 模式管理数据。以下是任务更新的主要数据结构:

字段 类型 描述
itemId Number 产品的唯一标识符。
taskType String 约束级别 (all, ignore_vehicle_error 等)。
status String 任务生命周期状态 (queued, collecting, success, failed)。
specifications Object 技术产品详细信息的键值对。
vehicle_information Array 兼容车辆/适配数据列表。
failReason String 如果任务状态为 failed,则需要说明原因。

产品数据采集 高级特性

  • 版本化任务隔离:使用 taskVersionName 同时运行多个采集实验或批次而互不干扰。
  • 条件验证:支持多个 taskType 级别,以根据产品类别允许灵活的数据要求。
  • 全局与本地队列:pick 逻辑在从全局队列提取之前,优先处理分配给特定用户的任务。
  • 批量管理:强大的 /batch-update 功能,可根据创建时间范围取消或重新排队数千个非成功任务。

SKILL.md


加载中

Openclaw 相关技能

METADATA

Requires
Github Stars: 0
forks: 0

精选*