Ein hochmodernes Multi-View-3D-Tracking-System von Meta Facebook Research, das für egozentrische Hand-Objekt-Interaktionen auf XR-Geräten optimiert ist.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install hot3d
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, hot3d über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist HOT3D: Multi-View 3D Hand- & Objekt-Tracking?
HOT3D ist ein umfassendes Tracking-Framework, das für Meta Aria Smart Glasses und Quest VR-Headsets entwickelt wurde. Als Kernkomponente des Openclaw Skills Ökosystems bietet es präzise 3D-Weltkoordinaten für 21-Keypoint-Handposen und 6DOF-Objekt-Tracking während komplexer Manipulationen. Im Gegensatz zu Standard-Single-View-Lösungen nutzt HOT3D egozentrische Multi-View-Daten, um eine millimetergenaue Präzision im 3D-Raum zu erreichen.
Dieser Skill ermöglicht es Entwicklern, Hand-Meshes zu rekonstruieren und Objektmodelle innerhalb einer synchronisierten Multi-Kamera-Umgebung auszurichten. Durch die Nutzung dieses Openclaw Skills Eintrags können Forscher und Entwickler auf robuste Visualisierungstools für 3D-Skelettprojektionen und Trajektorienanalysen zugreifen, was ihn zur definitiven Wahl für die High-Fidelity-XR-Interaktionsentwicklung macht.
HOT3D: Multi-View 3D Hand- & Objekt-Tracking Anwendungsfälle
- Implementierung hochpräziser Hand-Objekt-Interaktionsanalysen in XR-Umgebungen.
- Research-Grade-Benchmarking für 3D-Handposen-Schätzalgorithmen.
- Entwicklung von Anwendungen für Meta Aria Smart Glasses und Quest Headsets, die Weltkoordinaten-Tracking erfordern.
- Analyse von Kontaktpunkten und Grifftypen in täglichen Aktivitätssequenzen.
- Erstellung reichhaltiger 3D-Overlays und Skelettvisualisierungen auf Multi-View-Videostreams.
So funktioniert HOT3D: Multi-View 3D Hand- & Objekt-Tracking
- Das System nimmt Multi-View-RGB-D-Videostreams auf, die über 3-5 Kameras synchronisiert sind.
- Die Keypoint-Erkennung identifiziert 21 spezifische 3D-Handgelenke mit Konfidenzwerten für jede Ansicht.
- Die Objektposen-Schätzung berechnet die 3D-Position und Ausrichtung (Quaternion/Rotation) der manipulierten Gegenstände.
- Die Hand-Objekt-Interaktionslogik erkennt Kontaktpunkte und klassifiziert Manipulationsphasen.
- Die endgültige Ausgabe generiert 3D-Koordinaten in einem einheitlichen Weltkoordinatensystem, geeignet für das Rendering von Meshes oder Skelett-Overlays.
HOT3D: Multi-View 3D Hand- & Objekt-Tracking Einrichtung
Um dieses Openclaw Skills Modul zu integrieren, folgen Sie diesen Installationsschritten:
# Clone the HOT3D repository
git clone https://github.com/facebookresearch/hot3d.git
cd hot3d
# Install required dependencies including PyTorch3D and Open3D
pip install -r requirements.txt
# Note: Accessing the full dataset requires registration at the official project page
HOT3D: Multi-View 3D Hand- & Objekt-Tracking Datenschema & Taxonomie
HOT3D organisiert Tracking-Daten durch eine strukturierte, rahmenbasierte Taxonomie:
| Datentyp | Beschreibung | Format |
|---|---|---|
| Hand Pose | 21-Keypoint 3D-Gelenke (Links/Rechts) | 21x3 Array (x, y, z) |
| Object Pose | 6DOF Position und Rotationsmatrix | [x, y, z] + 3x3 Matrix |
| Metadaten | Kameraintrinsiken und Konfidenzwerte | JSON / Dict |
| Visuals | 3D-Meshes und Skelettprojektionen | OBJ / PNG Overlay |
HOT3D: Multi-View 3D Hand- & Objekt-Tracking Erweiterte Funktionen
- Multi-Agenten-Unterstützung für das Tracking gleichzeitiger Interaktionen verschiedener Benutzer.
- Algorithmen für zeitliche Konsistenz zur Aufrechterhaltung der Tracking-Stabilität bei Hochfrequenz-Frames (30-60 Hz).
- Integrations-Hooks für Aria SDK und OpenXR Plattformen.
- Automatisierte Kraftschätzungsfunktionen in Kombination mit Hilfssensordaten.
- Umfassende Evaluierungs-Suite via hand-tracking-toolkit für die Metrikanalyse.
SKILL.md
Laden
Verwandte Openclaw-Skills
Resume Helper
Ein automatisierter Assistent zum Erstellen, Gestalten und Exportieren professioneller HTML-Lebensläufe, der Sie gleichzeitig auf Vorstellungsgespräche vorbereitet.
clawguard
Ein local-first Sicherheitsprüfungstool zur Prüfung von Openclaw Skills auf gefährliche Anweisungen, Privilegienrisiken und Datenlecks vor der Installation.
Canvas Design
Ein High-End-Design-Skill, der tiefe ästhetische Philosophien generiert und diese in akribisch gefertigte visuelle Artefakte in Museumsqualität übersetzt.
Generator für algorithmische Kunst
Ein anspruchsvolles Toolset zum Entwerfen computergestützter Kunstbewegungen und deren Implementierung als interaktive p5.js-Artefakte.
Daily AI News Briefing
Ein automatisierter Intelligenz-Skill, der die neuesten AI-Entwicklungen aggregiert, filtert und in ein strukturiertes tägliches Briefing kategorisiert.
Website-Analyse & Suchverbesserungs-Skill
Ein umfassendes Tool für AI-Agenten zur Diagnose der Website-Performance, zur Analyse von Google Search Console- und GA4-Daten und zur Erstellung umsetzbarer, zielgerichteter Verbesserungs-Roadmaps.
Hervorgehoben*
