适用于 Openclaw 的 Data Analysis SQL

一种用于多引擎 SQL 开发、数据仓库和自动化知识库维护的专家级大数据工程技能。

whiskeyforsun
v1.0.4
2026年4月1日
1
813
0

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install data-analysis-sql

2. 手动安装

将技能文件夹复制到以下位置之一

全局模式
~/.openclaw/skills/
工作区
<project>/skills/

优先级:工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

请帮我使用 Clawhub 安装 data-analysis-sql。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

什么是 Data Analysis SQL?

Data Analysis SQL 技能是专为大数据工程师和数据分析师设计的综合工具包。它提供了跨多种引擎(包括 Hive、SparkSQL、ClickHouse 和 BigQuery)编写、调试和优化复杂 SQL 查询的高级功能。通过利用此 Openclaw Skills 资产,开发人员可以确保高性能数据处理,同时遵循严格的架构标准。

除了简单的查询,该技能还自动化了关键的数据工程任务,例如维度建模(ODS/DWD/DWS/ADS)、ETL 流水线编排和数据质量监控。它充当了原始数据与可执行业务指标之间的桥梁,为知识库生成和全面的技术文档提供了结构化的工作流程。

Data Analysis SQL 应用场景

  • 为 Presto、Doris 或 Hive 等多引擎环境开发和优化复杂 SQL 查询。
  • 使用 ODS、DWD、DWS 和 ADS 分层设计稳健的数据仓库架构。
  • 使用全量、增量或 CDC 数据捕获策略实施 ETL 流水线。
  • 执行自动化数据质量检查以识别空值率、重复和异常。
  • 从 SQL 或 Excel 源自动生成技术文档和关系模式。

Data Analysis SQL 工作原理

  1. 需求明确:该技能首先定义业务指标、数据源和排除逻辑,以确保与目标一致。
  2. 引擎选择:根据用例确定最佳数据引擎,例如用于实时 OLAP 的 ClickHouse 或用于批处理的 SparkSQL。
  3. 结构化开发:使用公用表表达式 (CTE) 编写 SQL,并根据全面的安全检查清单(租户键、删除标志等)进行验证。
  4. 性能调优:分析数据倾斜、JOIN 爆炸因素和全表扫描风险以优化执行。
  5. 验证与部署:通过现有报告交叉验证输出,并触发知识库的自动文档生成。

Data Analysis SQL 配置指南

要将此技能集成到您的环境中,请确保已安装 Python 并将存储库克隆到您的 Openclaw Skills 目录中:

git clone <repository-url>
cd data-analysis-sql
pip install -r requirements.txt

然后,您可以使用提供的实用脚本进行格式化或差异比较:

python scripts/sql_formatter.py --file your_query.sql
python scripts/sql_diff.py --old old_v1.sql --new new_v2.sql

Data Analysis SQL 数据架构与分类体系

该技能通过 references/ 目录中的结构化分类组织数据和元数据:

分类 组件 描述
SQL 标准 sql-guide.md CTE 使用、命名规范和格式化规则。
安全性 join-rules.md 租户隔离和空值处理检查清单。
建模 schema-guide.md 数据仓库分层架构(从 ODS 到 ADS)。
流水线 pipeline-patterns.md ETL 编排和恢复的设计模式。
质量 data-quality.md 异常检测和数据探测标准。

Data Analysis SQL 高级特性

  • 多引擎适配:在 PostgreSQL、Oracle 和云原生引擎(如 BigQuery)之间无缝迁移和适配 SQL 方言。
  • 自动化知识库:从 .xlsx 表结构生成完整的 Markdown 文档,并直接从 SQL 文件中提取表关系。
  • SCD 管理:处理缓慢变化维度 (SCD) 和快照建模的内置逻辑。
  • 指标设计模板:针对流程时间、交付周期和缺陷密度等业务指标的标准化模板。
  • 交互式文档生成:支持基于 CLI 的交互式工具,以即时生成表模式文档。

SKILL.md


加载中

Openclaw 相关技能

METADATA

Github Stars: 0
forks: 0

精选*