适用于 Openclaw 的 mHC Algorithm: Manifold-Constrained Hyper-Connections

mHC Algorithm 通过使用 Sinkhorn-Knopp algorithm 将残差混合矩阵约束到双随机流形上,从而稳定深度神经网络训练。

lnj22
v0.1.0
2026年4月14日
0
716
0

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install mhc-layer-impl-mhc-algorithm

2. 手动安装

将技能文件夹复制到以下位置之一

全局模式
~/.openclaw/skills/
工作区
<project>/skills/

优先级:工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

请帮我使用 Clawhub 安装 mhc-layer-impl-mhc-algorithm。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

什么是 mHC Algorithm: Manifold-Constrained Hyper-Connections?

mHC (Manifold-Constrained Hyper-Connections) 技能提供了一个复杂的框架,用于改进深度学习架构中的残差连接。基于 DeepSeek 2025 年的研究,此 Openclaw Skills 实现通过确保混合矩阵是双随机的,解决了梯度范数方差和训练不稳定性问题。通过将连接权重投影到特定流形上,它实现了跨多个并行流的更可预测的信号流。

其核心在于,该技能使开发者能够超越标准的残差连接,迈向 Hyper-Connections。它使用对数空间 Sinkhorn-Knopp 投影来保持数学严谨性,同时提供跨残差流的可学习混合,使其成为高性能 Transformer 和 GPT 类模型训练的重要工具。

mHC Algorithm: Manifold-Constrained Hyper-Connections 应用场景

  • 稳定超过 12 层的超深网络训练,解决标准残差失效的问题。
  • 在 GPT 或 Transformer 架构中实现高级 Hyper-Connections 以改善梯度流。
  • 为自定义神经网络层研究流形约束优化技术。
  • 使用 Openclaw Skills 减少大规模模型训练流水线中的梯度范数方差。

mHC Algorithm: Manifold-Constrained Hyper-Connections 工作原理

  1. 使用 einops 将输入张量重新排列为多个流,以实现高效的多流处理。
  2. 初始化混合矩阵 (H_res),并使用 Sinkhorn-Knopp algorithm 将其投影到双随机流形上。
  3. 该技能应用对数空间投影,以确保迭代 Sinkhorn 过程中的数值稳定性。
  4. 输入流通过投影矩阵进行混合,同时分支前和分支后的混合逻辑管理深度连接。
  5. 分支输出(例如 Attention 或 MLP)被重新集成到混合流中,并重新排列回原始 batch 格式。

mHC Algorithm: Manifold-Constrained Hyper-Connections 配置指南

要在您的环境中使用此技能,请确保安装了必要的依赖项:

pip install torch einops numpy

然后,您可以将 HyperConnections 模块导入到您的 Openclaw Skills 工作流中,以封装标准神经网络层。

mHC Algorithm: Manifold-Constrained Hyper-Connections 数据架构与分类体系

mHC 技能围绕以下技术组件组织其逻辑和配置:

组件 描述 元数据/参数
H_res_logits 用于残差混合的可学习 logits (num_streams, num_streams)
H_pre_logits 用于分支输入选择的 logits (1, num_streams)
H_post_logits 用于分支输出分布的 logits (1, num_streams)
Sinkhorn Params 流形投影配置 num_iters=20, tau=0.05

此 Openclaw Skills 模块生成的文件通常包括核心实现参考、关于 Sinkhorn-Knopp algorithm 的文档以及 GPT 集成模式。

mHC Algorithm: Manifold-Constrained Hyper-Connections 高级特性

  • 对数空间 Sinkhorn-Knopp 迭代,防止深度训练过程中的数值下溢。
  • 完全可微分的流形约束投影,支持端到端梯度下降。
  • 灵活的多流架构,支持 N 路并行残差路径。
  • 使用 einops 进行高性能张量运算,以实现清晰高效的维度操作。

SKILL.md


加载中

Openclaw 相关技能

METADATA

Github Stars: 0
forks: 0

精选*