Verwandeln Sie Ihre Linux-Hardware in ein leistungsstarkes Headless-KI-Inferenz-Cluster mit nativem systemd und NVIDIA CUDA.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install linux-ai-server
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, linux-ai-server über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist Linux AI Server?
Die Linux AI Server Skill ermöglicht es Entwicklern und Systemadministratoren, Standard-Linux-Maschinen in eine leistungsstarke, verteilte Inferenz-Flotte zu verwandeln. Durch den Einsatz von Openclaw Skills können Benutzer den Overhead einer schweren Container-Orchestrierung wie Kubernetes oder Docker umgehen und stattdessen native systemd-Dienste nutzen, um LLMs wie Llama 3.3, DeepSeek-V3 und Mistral zu verwalten. Diese Architektur stellt eine maximale Ressourcenzuweisung für die Inferenz sicher und bietet eine schlanke Möglichkeit, KI-Funktionen über Rack-Server, Cloud-VMs und Edge-Geräte hinweg zu skalieren.
Diese spezifische Implementierung konzentriert sich auf Performance mit niedriger Latenz und hohe Verfügbarkeit. Openclaw Skills ermöglicht einen vereinheitlichten Endpunkt, der Datenverkehr intelligent über Ihre gesamte Flotte routet. Egal, ob Sie High-End NVIDIA A100 GPUs oder einfache CPU-basierte Mini-PCs betreiben, diese Skill bietet eine standardisierte Methode, um KI-Modelle über eine OpenAI-kompatible API ohne die Notwendigkeit einer GUI zu nutzen.
Linux AI Server Anwendungsfälle
- Verwaltung eines Headless-KI-Inferenz-Clusters über mehrere Rack-Server im Rechenzentrum hinweg.
- Bereitstellung lokaler KI-Endpunkte auf Cloud-VMs, um den GUI-Overhead zu minimieren und den Token-Durchsatz zu maximieren.
- Erstellung einer verteilten KI-Flotte unter Verwendung von vorhandener lokaler Hardware oder Edge-Geräten wie Raspberry Pi 5.
- Skalierung der Inferenz für große Frontier-Modelle wie DeepSeek-R1 unter Verwendung von Multi-GPU Linux-Umgebungen.
- Bereitstellung einer vereinheitlichten, selbst gehosteten, OpenAI-kompatiblen API für interne Entwicklungsteams und automatisierte Workflows.
So funktioniert Linux AI Server
- Installieren Sie die Ollama-Inferenz-Engine auf allen teilnehmenden Linux-Maschinen, um die Basis-Modellausführungsumgebung bereitzustellen.
- Installieren Sie die Openclaw Skills-Verwaltungsebene per pip, um die Router- und Knoten-Kommunikationsprotokolle zu aktivieren.
- Bestimmen Sie einen primären Linux-Server als Flotten-Router, der als zentrales Gateway und Load Balancer für die Flotte fungiert.
- Initialisieren Sie herd-node-Dienste auf der gesamten restlichen Linux-Hardware, damit diese den Router automatisch erkennen und sich bei ihm registrieren können.
- Konfigurieren Sie systemd-Units für sowohl den Router als auch die Knoten, um sicherzustellen, dass das KI-Cluster beim Booten automatisch startet und sich von Ausfällen erholt.
- Greifen Sie über den Router auf den vereinheitlichten API-Endpunkt zu, der den Zustand der Knoten überwacht und Inferenzanfragen basierend auf der Modellverfügbarkeit und Leistungsbewertungen verteilt.
Linux AI Server Einrichtung
Schnellinstallation
# Installieren Sie Ollama in Ihrer Linux-Umgebung
curl -fsSL https:\/\/ollama.ai\/install.sh | sh
# Installieren Sie die Openclaw Skills Router- und Knoten-Komponenten
pip install ollama-herd
Betrieb der Flotte
# Auf dem primären Server (Router)
herd
# Auf den Arbeits-Servern (Knoten)
herd-node --router-url http:\/\/<router-ip>:11435
Persistenz mit systemd
# Aktivieren Sie den Router-Dienst
sudo systemctl enable --now herd-router
# Aktivieren Sie den Knotendienst auf allen Arbeits-Knoten
sudo systemctl enable --now herd-node
Linux AI Server Datenschema & Taxonomie
Die Skill verwaltet ihre Zustands- und Leistungsdaten durch spezifische lokale Dateistrukturen und strukturierte Protokollierung:
| Komponente | Pfad | Beschreibung |
|---|---|---|
| Latency DB | ~\/.fleet-manager\/latency.db |
Sqlite-Datenbank, die Knoten-Antwortzeiten und Leistungsmetriken verfolgt. |
| JSON Logs | ~\/.fleet-manager\/logs\/herd.jsonl |
Strukturierte Protokolldateien zur Prüfung von Anfragen, Traces und Cluster-Ereignissen. |
| Systemd Units | \/etc\/systemd\/system\/ |
Konfigurationsdateien zur Verwaltung persistenter Hintergrundprozesse. |
| Health Checks | \/dashboard\/api\/health |
API-Endpunkt, der ein JSON-Objekt mit 15 automatisierten Systemzustandsprüfungen zurückgibt. |
Linux AI Server Erweiterte Funktionen
- Intelligentes Flotten-Routing unter Verwendung eines 7-Signal-Scoring-Systems, um die schnellsten verfügbaren Knoten zu priorisieren.
- Native NVIDIA CUDA-Unterstützung für High-Performance GPU-Beschleunigung ohne Container-Overhead.
- Echtzeit-Beobachtbarkeit durch ein Web-basiertes Dashboard zur Überwachung von Traces und Anfrageprotokollen.
- Unterstützung für erweiterte Ollama-Umgebungsoptimierungen wie OLLAMA_KEEP_ALIVE und OLLAMA_NUM_PARALLEL.
- Vielseitige Inferenzfähigkeiten einschließlich Textgenerierung, Bildgenerierung und Texteinbettungen über Openclaw Skills.
- Automatisierte Modellentdeckung und Knotensynchronisation über komplexe Netzwerktopologien hinweg.
SKILL.md
Laden
Verwandte Openclaw-Skills
linux-ollama
Eine hochentwickelte Flotten-Routing- und Lastausgleichslösung für die Ausführung von Ollama über mehrere Linux-Maschinen hinweg durch einen einzigen, einheitlichen Endpunkt.
RTX Local AI
RTX Local AI verwandelt Ihren Gaming-PC in einen leistungsstarken lokalen AI-Server, mit dem Sie massive LLMs ohne Cloud-Kosten auf NVIDIA RTX GPUs ausführen können.
Windows Ollama Fleet Manager
Ein fortschrittliches Orchestrierungstool zum Routen von Ollama-Inferenzanfragen über ein Netzwerk von Windows-PCs, um die Hardwareauslastung zu maximieren.
Windows AI Lokaler Inferenz-Cluster
Ein leistungsstarkes Tool, um Ihre Windows-PCs in einen privaten Hochleistungs-KI-Cluster für lokale LLM-Inferenz, Bildgenerierung und Embeddings zu verwandeln.
CUDA Ollama Fleet Router
Eine Hochleistungs-Routing-Ebene, die mehrere NVIDIA-GPUs in einem einzigen, lastausgeglichenen CUDA Ollama-Inferenzcluster vereint.
Qdrant Ingestion Best Practices
Ein produktionsreifes Framework zum Entwurf und zur Implementierung von Hochleistungs-RAG-Pipelines unter Verwendung von Qdrant als Vektordatenbank.
Hervorgehoben*
