一个用于掌握 Apache Arrow 内存列式格式和零拷贝数据交换的高性能参考技能。
安装与下载
1. ClawHub CLI
从源直接安装技能的最快方式。
npx clawhub@latest install arrow
2. 手动安装
将技能文件夹复制到以下位置之一
~/.openclaw/skills/ <project>/skills/ 优先级：工作区 > 本地 > 内置
3. 提示词安装
将此提示词复制到 OpenClaw 即可自动安装。
请帮我使用 Clawhub 安装 arrow。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
更倾向于下载？
获取包含原生技能文件的ZIP压缩包。
什么是 Arrow？
Arrow 技能提供了 Apache Arrow 生态系统的详尽参考，这是一种独立于语言的列式内存格式，旨在实现高效的分析操作。通过在 Openclaw Skills 框架内利用此模块，开发人员可以实现高性能数据管道，利用零拷贝读取，消除不同语言和平台之间序列化和反序列化的开销。
此技能涵盖了整个技术栈，从核心内存布局和有效性位图到高级组件如 Gandiva LLVM 编译器和 Arrow Flight RPC。对于构建需要 pandas、DuckDB、Polars 和 Spark 等工具之间无缝互操作性的现代数据架构的工程团队来说，这是一个必不可少的资产。
Arrow 应用场景
- 构建需要在 Python 和 C++ 进程之间进行零拷贝内存共享的高速数据管道。
- 使用 Arrow Flight 实现高性能远程过程调用 (RPC)，用于大规模数据集传输。
- 通过使用具有谓词下推和分区功能的 Dataset API 来优化分析查询。
- 将 Polars、Spark 和 DuckDB 等异构数据工具集成到统一的内存架构中。
Arrow 工作原理
- 代理在 Openclaw Skills 生态系统中初始化 Arrow 环境，以访问列式格式规范。
- 用户查询特定的数据结构（如 RecordBatches 或 Tables）来定义内存布局。
- 该技能促进了 pyarrow 用于计算函数和数组操作的使用。
- 高性能传输通过 Arrow Flight RPC 服务器/客户端逻辑进行管理。
- 复杂的表达式被卸载到 Gandiva LLVM 编译器以实现优化执行。
Arrow 配置指南
要将此技能集成到您的本地环境中，请使用以下命令：
# 通过 Openclaw Skills CLI 安装 Arrow 技能
openclaw install arrow
# 验证安装并查看概览
openclaw run arrow intro
Arrow 数据架构与分类体系
Arrow 技能围绕列式内存模型和进程间通信 (IPC) 标准组织技术数据：
| 组件 | 逻辑 | 描述 |
|---|---|---|
| Memory Layout | Columnar | 用于空值跟踪的数组、缓冲区和有效性位图。 |
| Batching | RecordBatch | 用于流式传输和 IPC 的连续数据块。 |
| RPC | Flight | 用于线缆上高效数据移动的协议。 |
| Connectivity | ADBC | Arrow 原生驱动程序的标准化数据库连接。 |
Arrow 高级特性
- Gandiva LLVM 集成：以原生速度编译和执行复杂的分析表达式。
- Dataset API：通过内置的分区和架构演进管理大规模基于文件的数据集。
- 多语言互操作：在 R、Python 和基于 JVM 的系统之间桥接数据的详细参考。
- 谓词下推：通过在存储或扫描级别过滤记录来优化数据检索。
SKILL.md
加载中
Openclaw 相关技能
t2i (Text-to-Image 占位符)
一个专门的占位符技能，旨在管理和转换 skills.video 上的 Text-to-Image 生成工作流。
精选*
