RTX Local AI verwandelt Ihren Gaming-PC in einen leistungsstarken lokalen AI-Server, mit dem Sie massive LLMs ohne Cloud-Kosten auf NVIDIA RTX GPUs ausführen können.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install rtx-local-ai
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, rtx-local-ai über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist RTX Local AI?
RTX Local AI ist ein leistungsstarkes Dienstprogramm, das entwickelt wurde, um das ungenutzte Potenzial von NVIDIA-Hardware zu nutzen und High-End-Gaming-GPUs in dedizierte AI-Inferenz-Engines zu verwandeln. Durch die Nutzung von Openclaw Skills zur Schnittstelle mit Ollama Herd können Benutzer teure Cloud-Abonnements und Datenschutzbedenken umgehen, indem sie modernste Modelle wie Llama 3.3, Qwen und DeepSeek direkt auf ihrer eigenen Hardware ausführen.
Egal, ob Sie eine einzelne RTX 4090 verwenden oder eine Flotte von mehreren RTX-betriebenen PCs zusammenschließen, dieser Skill bietet eine nahtlose Brücke zwischen Ihrer lokalen Rechenleistung und Ihren AI-Anwendungen. Er unterstützt sowohl Windows als auch Linux und ist somit für die große Mehrheit der PC-Enthusiasten und Entwickler zugänglich, die die volle Kontrolle über ihre AI-Infrastruktur und -Daten behalten möchten.
RTX Local AI Anwendungsfälle
- Ausführen großer Sprachmodelle wie Llama 3.3 (70B) lokal ohne Token-Kosten oder Datenschutzrisiken.
- Erstellen einer RTX-Flotte durch Zusammenlegen mehrerer Gaming-PCs, um AI-Arbeitslasten zu verteilen.
- Lokale Codegenerierung für sensible Projekte mit Modellen wie Codestral oder Mistral-Nemo.
- Lokale Generierung hochauflösender Bilder mit Turbo-Modellen ohne Cloud-Wartezeiten.
- Aufbau von RAG-Pipelines (Retrieval-Augmented Generation) mit lokalen Embedding-Modellen wie nomic-embed-text.
So funktioniert RTX Local AI
- Die Openclaw Skills-Umgebung kommuniziert mit dem Ollama Herd CLI, um lokale GPU-Ressourcen zu verwalten.
- Ein zentraler 'herd'-Router wird auf Ihrem Primärrechner initialisiert, um eingehende AI-Anfragen zu verwalten.
- Einzelne RTX-Rechner werden als 'nodes' registriert, die den Router automatisch über mDNS entdecken.
- AI-Anfragen werden basierend auf der vRAM-Kapazität und der aktuellen Last intelligent an die beste verfügbare RTX-GPU weitergeleitet.
- Das System bietet eine OpenAI-kompatible API, die es bestehenden Anwendungen ermöglicht, durch einfaches Ändern einer Basis-URL von Cloud- auf lokale RTX-Inferenz umzustellen.
RTX Local AI Einrichtung
Stellen Sie zunächst sicher, dass Sie eine NVIDIA RTX GPU und die erforderlichen Treiber installiert haben. Verwenden Sie die folgenden Schritte, um Ihren lokalen AI-Server bereitzustellen:
# Installieren Sie die Kernkomponenten
pip install ollama-herd
# Starten Sie den RTX-Router auf Ihrem Hauptrechner
herd
# Registrieren Sie den lokalen Rechner als Rechenknoten
herd-node
Windows-Benutzer sollten sicherstellen, dass sie diese Befehle in einem Terminal mit entsprechenden Berechtigungen ausführen. Wenn Sie mehrere PCs haben, führen Sie einfach herd-node auf jedem weiteren Rechner aus, um der Flotte beizutreten.
RTX Local AI Datenschema & Taxonomie
Der Skill verwaltet Konfigurations- und Leistungsdaten über spezifische Pfade und Metadatenstrukturen, um ein Routing mit geringer Latenz zu gewährleisten.
| Komponente | Pfad / Typ | Beschreibung |
|---|---|---|
| Latency DB | ~/.fleet-manager/latency.db |
Speichert Knotenantwortzeiten für optimiertes Routing. |
| Activity Logs | ~/.fleet-manager/logs/herd.jsonl |
Sequenzielle Aufzeichnungen von AI-Anfragen und GPU-Leistung. |
| Configuration | ~/.fleet-manager/ |
Stammverzeichnis für Flotten-Metadaten und Knotenidentität. |
Alle Modellgewichte werden in der standardmäßigen Ollama-Verzeichnisstruktur gespeichert und nur auf ausdrückliche Benutzeranfrage heruntergeladen.
RTX Local AI Erweiterte Funktionen
- Multi-Agenten-Unterstützung zur Verteilung komplexer Denkaufgaben über eine Flotte von RTX-GPUs.
- Persistentes VRAM-Laden über OLLAMA_KEEP_ALIVE für nahezu sofortige Inferenz-Antwortzeiten.
- Dashboard zur Leistungsüberwachung in Echtzeit, erreichbar unter
http://localhost:11435/dashboard. - Unterstützung für Bildgenerierungs- und Texteinbettungsmodelle neben Standard-LLMs.
- Automatisierte Knotenerkennung und Failover für hochverfügbare lokale AI-Cluster.
SKILL.md
Laden
Verwandte Openclaw-Skills
Windows Ollama Fleet Manager
Ein fortschrittliches Orchestrierungstool zum Routen von Ollama-Inferenzanfragen über ein Netzwerk von Windows-PCs, um die Hardwareauslastung zu maximieren.
Windows AI Lokaler Inferenz-Cluster
Ein leistungsstarkes Tool, um Ihre Windows-PCs in einen privaten Hochleistungs-KI-Cluster für lokale LLM-Inferenz, Bildgenerierung und Embeddings zu verwandeln.
wsl2-local-ai
Ein leistungsstarker LLM-Entwicklungsstack für Windows-Benutzer unter Nutzung von WSL2, NVIDIA GPU Passthrough und Ollama Herd-Routing.
photo-alchemy
Ein ausgefeilter KI-Workflow, der Ihre persönlichen Fotos mithilfe einer Multi-Modell-Pipeline und tiefer macOS-Integration in surrealistische Meisterwerke verwandelt.
linux-ollama
Eine hochentwickelte Flotten-Routing- und Lastausgleichslösung für die Ausführung von Ollama über mehrere Linux-Maschinen hinweg durch einen einzigen, einheitlichen Endpunkt.
Linux AI Server
Verwandeln Sie Ihre Linux-Hardware in ein leistungsstarkes Headless-KI-Inferenz-Cluster mit nativem systemd und NVIDIA CUDA.
Hervorgehoben*
