mHC Algorithm: Manifold-Constrained Hyper-Connections pour Openclaw

Le mHC Algorithm stabilise l'entraînement des réseaux de neurones profonds en contraignant les matrices de mélange résiduel à une variété doublement stochastique en utilisant le Sinkhorn-Knopp algorithm.

lnj22
v0.1.0
Apr 14, 2026
0
716
0

Installer & Télécharger

1. ClawHub CLI

Le moyen le plus rapide d'installer une compétence directement depuis le registre.

npx clawhub@latest install mhc-layer-impl-mhc-algorithm

2. Installation manuelle

Copiez le dossier de la compétence dans l'un de ces emplacements

Global
~/.openclaw/skills/
Espace de travail
<project>/skills/

Priorité : Espace de travail > Local > Intégré

3. Installation du prompt

Copiez ce prompt dans OpenClaw pour l'installer automatiquement.

Aide-moi à installer mhc-layer-impl-mhc-algorithm via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).

Vous préférez télécharger ?

Obtenez les fichiers bruts de la compétence dans une archive ZIP.

Qu'est-ce que mHC Algorithm: Manifold-Constrained Hyper-Connections ?

La compétence mHC (Manifold-Constrained Hyper-Connections) fournit un cadre sophistiqué pour améliorer les connexions résiduelles dans les architectures de deep learning. Basée sur les recherches de 2025 de DeepSeek, cette implémentation d'Openclaw Skills résout la variance de la norme du gradient et l'instabilité de l'entraînement en garantissant que les matrices de mélange sont doublement stochastiques. En projetant les poids de connexion sur une variété spécifique, elle permet un flux de signal plus prévisible à travers de multiples flux parallèles.

Fondamentalement, cette compétence permet aux développeurs d'aller au-delà des connexions résiduelles standard vers des Hyper-Connections. Elle utilise une projection Sinkhorn-Knopp en espace logarithmique pour maintenir une rigueur mathématique tout en offrant un mélange apprenable à travers les flux résiduels, ce qui en fait un outil essentiel pour l'entraînement de modèles haute performance de style Transformer et GPT.

Cas d'utilisation de mHC Algorithm: Manifold-Constrained Hyper-Connections

  • Stabilisation de l'entraînement pour les réseaux très profonds dépassant 12 couches où les résidus standard échouent.
  • Implémentation d'Hyper-Connections avancées dans les architectures GPT ou Transformer pour améliorer le flux de gradient.
  • Recherche sur les techniques d'optimisation contraintes par variété pour les couches de réseaux de neurones personnalisées.
  • Réduction de la variance de la norme du gradient dans les pipelines d'entraînement de modèles à grande échelle en utilisant Openclaw Skills.

Comment fonctionne mHC Algorithm: Manifold-Constrained Hyper-Connections

  1. Le tenseur d'entrée est réorganisé en plusieurs flux en utilisant einops pour un traitement multflux efficace.
  2. Les matrices de mélange (H_res) sont initialisées et projetées sur une variété doublement stochastique en utilisant le Sinkhorn-Knopp algorithm.
  3. La compétence applique une projection en espace logarithmique pour assurer la stabilité numérique pendant le processus itératif de Sinkhorn.
  4. Les flux d'entrée sont mélangés via les matrices projetées, tandis que la logique de mélange avant et après branchement gère les connexions de profondeur.
  5. La sortie de branchement (ex: Attention ou MLP) est réintégrée dans les flux mélangés et réorganisée au format batch original.

Configuration de mHC Algorithm: Manifold-Constrained Hyper-Connections

Pour utiliser cette compétence dans votre environnement, assurez-vous d'avoir installé les dépendances nécessaires :

pip install torch einops numpy

Vous pouvez ensuite importer le module HyperConnections dans votre flux de travail Openclaw Skills pour encapsuler les couches de réseaux de neurones standard.

Schéma de données et taxonomie de mHC Algorithm: Manifold-Constrained Hyper-Connections

La compétence mHC organise sa logique et sa configuration autour des composants techniques suivants :

Composant Description Métadonnées/Paramètres
H_res_logits Logits apprenables pour le mélange résiduel (num_streams, num_streams)
H_pre_logits Logits pour la sélection d'entrée de branchement (1, num_streams)
H_post_logits Logits pour la distribution de sortie de branchement (1, num_streams)
Sinkhorn Params Configuration pour la projection de variété num_iters=20, tau=0.05

Les fichiers générés par ce module Openclaw Skills incluent généralement des références d'implémentation de base, la documentation sur le Sinkhorn-Knopp algorithm et des modèles d'intégration GPT.

Fonctionnalités avancées de mHC Algorithm: Manifold-Constrained Hyper-Connections

  • Itérations Sinkhorn-Knopp en espace logarithmique pour éviter l'underflow numérique pendant l'entraînement profond.
  • Projections contraintes par variété entièrement différentiables pour la descente de gradient de bout en bout.
  • Architecture multflux flexible prenant en charge les chemins résiduels parallèles N-way.
  • Opérations sur tenseurs haute performance utilisant einops pour une manipulation de dimensionnalité claire et efficace.

SKILL.md


Chargement

Compétences Openclaw associées

METADATA

Github Stars: 0
forks: 0

En vedette*