Transforma tu hardware Linux en un cluster de inferencia de IA headless de alto rendimiento utilizando systemd nativo y NVIDIA CUDA.
Instalar y Descargar
1. ClawHub CLI
La forma más rápida de instalar una habilidad directamente desde el registro.
npx clawhub@latest install linux-ai-server
2. Instalación manual
Copia la carpeta de la habilidad a una de estas ubicaciones
~/.openclaw/skills/ <project>/skills/ Prioridad: Espacio de trabajo > Local > Integrado
3. Instalación del prompt
Copia este prompt en OpenClaw para instalarlo automáticamente.
Ayúdame a instalar linux-ai-server usando Clawhub. Si Clawhub no está instalado, instálalo primero (npm i -g clawhub).
¿Prefieres descargar?
Obtén los archivos originales de la habilidad en un archivo ZIP.
¿Qué es Linux AI Server?
La skill Linux AI Server permite a desarrolladores y administradores de sistemas convertir máquinas Linux estándar en una potente flota de inferencia distribuida. Al aprovechar Openclaw Skills, los usuarios pueden evitar el overhead de orquestación de contenedores pesada como Kubernetes o Docker, utilizando servicios systemd nativos para gestionar LLMs como Llama 3.3, DeepSeek-V3 y Mistral. Esta arquitectura garantiza la asignación máxima de recursos para la inferencia, proporcionando una manera simplificada de escalar capacidades de IA en servidores montados en rack, máquinas virtuales en la nube y dispositivos de borde.
Esta implementación específica se centra en un rendimiento de baja latencia y alta disponibilidad. Openclaw Skills permite un endpoint unificado que enruta el tráfico de forma inteligente a través de toda tu flota. Ya sea que estés ejecutando GPUs NVIDIA A100 de alta gama o simples Mini PCs basados en CPU, esta skill proporciona una manera estandarizada de consumir modelos de IA a través de una API compatible con OpenAI sin necesidad de una GUI.
Casos de uso de Linux AI Server
- Gestión de un cluster de inferencia de IA headless en varios servidores de centro de datos montados en rack.
- Despliegue de endpoints de IA locales en máquinas virtuales en la nube para minimizar el overhead de la GUI y maximizar el rendimiento de tokens.
- Creación de una flota de IA distribuida utilizando hardware local sobrante o dispositivos de borde como Raspberry Pi 5.
- Escalado de inferencia para grandes modelos de frontera como DeepSeek-R1 utilizando entornos Linux multi-GPU.
- Provisión de una API unificada, autohospedada y compatible con OpenAI para equipos de desarrollo internos y flujos de trabajo automatizados.
Cómo funciona Linux AI Server
- Instala el motor de inferencia Ollama en todas las máquinas Linux participantes para proporcionar el entorno de ejecución del modelo base.
- Instala la capa de gestión Openclaw Skills mediante pip para habilitar el router y los protocolos de comunicación de nodo.
- Designa un servidor Linux primario como el router de la flota para actuar como la puerta de enlace central y balanceador de carga para la flota.
- Inicializa los servicios herd-node en todo el resto del hardware Linux para permitir que descubran y se registren automáticamente con el router.
- Configura unidades systemd tanto para el router como para los nodos para garantizar que el cluster de IA se inicie automáticamente en el arranque y se recupere de fallos.
- Accede al endpoint de API unificado a través del router, que monitorea la salud de los nodos y distribuye solicitudes de inferencia basadas en la disponibilidad del modelo y las puntuaciones de rendimiento.
Configuración de Linux AI Server
Instalación Rápida
# Instala Ollama en tu entorno Linux
curl -fsSL https:\/\/ollama.ai\/install.sh | sh
# Instala los componentes de router y nodo de Openclaw Skills
pip install ollama-herd
Ejecución de la Flota
# En el servidor primario (Router)
herd
# En los servidores de trabajo (Nodos)
herd-node --router-url http:\/\/<router-ip>:11435
Persistencia con systemd
# Habilita el servicio del router
sudo systemctl enable --now herd-router
# Habilita el servicio de nodo en todos los trabajadores
sudo systemctl enable --now herd-node
Esquema de datos y taxonomía de Linux AI Server
La skill gestiona sus datos de estado y rendimiento a través de estructuras de archivos locales específicas y registros estructurados:
| Componente | Ruta | Descripción |
|---|---|---|
| Latency DB | ~\/.fleet-manager\/latency.db |
Base de datos Sqlite que rastrea los tiempos de respuesta de los nodos y las métricas de rendimiento. |
| JSON Logs | ~\/.fleet-manager\/logs\/herd.jsonl |
Archivos de registro estructurados para auditar solicitudes, trazas y eventos del cluster. |
| Systemd Units | \/etc\/systemd\/system\/ |
Archivos de configuración para gestionar procesos de segundo plano persistentes. |
| Health Checks | \/dashboard\/api\/health |
Endpoint de API que devuelve un objeto JSON que contiene 15 comprobaciones de salud del sistema automatizadas. |
Funciones avanzadas de Linux AI Server
- Enrutamiento inteligente de flota utilizando puntuación de 7 señales para priorizar los nodos disponibles más rápidos.
- Soporte nativo de NVIDIA CUDA para aceleración de GPU de alto rendimiento sin overhead de contenedores.
- Observabilidad en tiempo real a través de un panel basado en web para monitorear trazas y registros de solicitudes.
- Soporte para optimizaciones avanzadas del entorno Ollama como OLLAMA_KEEP_ALIVE y OLLAMA_NUM_PARALLEL.
- Capacidades de inferencia versátiles que incluyen generación de texto, generación de imágenes y embeddings de texto a través de Openclaw Skills.
- Descubrimiento automatizado de modelos y sincronización de nodos a través de topologías de red complejas.
SKILL.md
Cargando
Habilidades relacionadas de Openclaw
linux-ollama
Una solución sofisticada de enrutamiento de flota y balanceo de carga para ejecutar Ollama en varias máquinas Linux a través de un único endpoint unificado.
RTX Local AI
RTX Local AI convierte tu PC gaming en un servidor de IA local de alto rendimiento, permitiéndote ejecutar LLMs masivos con cero costes de nube utilizando GPUs NVIDIA RTX.
Gestor de Flotas Windows Ollama
Una herramienta de orquestación avanzada para enrutar solicitudes de inferencia de Ollama a través de una red de PCs Windows para maximizar la utilización del hardware.
Clúster de inferencia local de IA para Windows
Una herramienta potente para convertir sus PCs Windows en un clúster de IA privado y de alto rendimiento para inferencia de LLM local, generación de imágenes y embeddings.
CUDA Ollama Fleet Router
Una capa de enrutamiento de alto rendimiento que unifica múltiples GPUs NVIDIA en un único clúster de inferencia CUDA Ollama con balanceo de carga.
Qdrant Ingestion Best Practices
Un marco de nivel de producción para diseñar e implementar pipelines de RAG de alto rendimiento utilizando Qdrant como base de datos vectorial.
Presentado*
