Transforme seu hardware Linux em um cluster de inferência de IA headless de alto desempenho usando systemd nativo e NVIDIA CUDA.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install linux-ai-server
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o linux-ai-server usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é Linux AI Server?
A skill Linux AI Server permite que desenvolvedores e administradores de sistemas convertam máquinas Linux padrão em uma poderosa frota de inferência distribuída. Ao aproveitar o Openclaw Skills, os usuários podem ignorar o overhead de orquestração de contêineres pesada como Kubernetes ou Docker, utilizando serviços systemd nativos para gerenciar LLMs como Llama 3.3, DeepSeek-V3 e Mistral. Esta arquitetura garante a alocação máxima de recursos para inferência, fornecendo uma maneira simplificada de escalar capacidades de IA em servidores montados em rack, VMs em nuvem e dispositivos de borda.
Esta implementação específica foca em desempenho de baixa latência e alta disponibilidade. O Openclaw Skills permite um endpoint unificado que roteia tráfego de forma inteligente por toda a sua frota. Esteja você executando GPUs NVIDIA A100 de ponta ou simples Mini PCs baseados em CPU, esta skill oferece uma maneira padronizada de consumir modelos de IA via uma API compatível com OpenAI sem a necessidade de uma GUI.
Casos de uso do Linux AI Server
- Gerenciamento de um cluster de inferência de IA headless em vários servidores de data center montados em rack.
- Implantação de endpoints de IA locais em VMs em nuvem para minimizar o overhead de GUI e maximizar o throughput de tokens.
- Criação de uma frota de IA distribuída usando hardware local sobressalente ou dispositivos de borda como o Raspberry Pi 5.
- Escalonamento de inferência para grandes modelos de fronteira como o DeepSeek-R1 usando ambientes Linux multi-GPU.
- Fornecimento de uma API unificada, auto-hospedada e compatível com OpenAI para equipes de desenvolvimento internas e fluxos de trabalho automatizados.
Como o Linux AI Server funciona
- Instale o mecanismo de inferência Ollama em todas as máquinas Linux participantes para fornecer o ambiente de execução do modelo base.
- Instale a camada de gerenciamento Openclaw Skills via pip para habilitar o roteador e os protocolos de comunicação de nó.
- Designe um servidor Linux primário como o roteador da frota para atuar como o gateway central e balanceador de carga para a frota.
- Inicialize os serviços herd-node em todo o restante do hardware Linux para permitir que descubram e se registrem automaticamente no roteador.
- Configure unidades systemd tanto para o roteador quanto para os nós para garantir que o cluster de IA inicie automaticamente na inicialização e se recupere de falhas.
- Acesse o endpoint de API unificado através do roteador, que monitora a saúde dos nós e distribui solicitações de inferência com base na disponibilidade do modelo e pontuações de desempenho.
Configuração do Linux AI Server
Instalação Rápida
# Instale o Ollama em seu ambiente Linux
curl -fsSL https:\/\/ollama.ai\/install.sh | sh
# Instale os componentes de roteador e nó do Openclaw Skills
pip install ollama-herd
Executando a Frota
# No servidor primário (Roteador)
herd
# Nos servidores de trabalho (Nós)
herd-node --router-url http:\/\/<router-ip>:11435
Persistência com systemd
# Habilite o serviço do roteador
sudo systemctl enable --now herd-router
# Habilite o serviço de nó em todos os trabalhadores
sudo systemctl enable --now herd-node
Esquema de Dados e Taxonomia de Linux AI Server
A skill gerencia seus dados de estado e desempenho por meio de estruturas de arquivos locais específicas e logs estruturados:
| Componente | Caminho | Descrição |
|---|---|---|
| Latency DB | ~\/.fleet-manager\/latency.db |
Banco de dados Sqlite rastreando tempos de resposta dos nós e métricas de desempenho. |
| JSON Logs | ~\/.fleet-manager\/logs\/herd.jsonl |
Arquivos de log estruturados para auditoria de solicitações, rastreamentos e eventos de cluster. |
| Systemd Units | \/etc\/systemd\/system\/ |
Arquivos de configuração para gerenciar processos de segundo plano persistentes. |
| Health Checks | \/dashboard\/api\/health |
Endpoint de API retornando um objeto JSON contendo 15 verificações de saúde do sistema automatizadas. |
Recursos avançados do Linux AI Server
- Roteamento inteligente de frota usando pontuação de 7 sinais para priorizar os nós disponíveis mais rápidos.
- Suporte nativo a NVIDIA CUDA para aceleração de GPU de alto desempenho sem overhead de contêiner.
- Observabilidade em tempo real através de um dashboard baseado em web para monitorar rastreamentos e logs de solicitação.
- Suporte para otimizações avançadas de ambiente Ollama como OLLAMA_KEEP_ALIVE e OLLAMA_NUM_PARALLEL.
- Capacidades versáteis de inferência incluindo geração de texto, geração de imagem e embeddings de texto via Openclaw Skills.
- Descoberta automatizada de modelos e sincronização de nós em topologias de rede complexas.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
linux-ollama
Uma solução sofisticada de roteamento de frota e balanceamento de carga para executar o Ollama em várias máquinas Linux através de um único endpoint unificado.
RTX Local AI
O RTX Local AI transforma seu PC gamer em um servidor de AI local de alta performance, permitindo que você execute LLMs massivos com zero custos de nuvem usando GPUs NVIDIA RTX.
Gerenciador de Fleet Windows Ollama
Uma ferramenta de orquestração avançada para rotear solicitações de inferência Ollama por uma rede de PCs Windows para maximizar a utilização do hardware.
Cluster de Inferência Local de AI para Windows
Uma ferramenta poderosa para transformar seus PCs Windows em um cluster de IA privado e de alto desempenho para inferência de LLM local, geração de imagens e embeddings.
CUDA Ollama Fleet Router
Uma camada de roteamento de alto desempenho que unifica múltiplas GPUs NVIDIA em um único cluster de inferência CUDA Ollama com balanceamento de carga.
Qdrant Ingestion Best Practices
Um framework de nível de produção para projetar e implementar pipelines de RAG de alto desempenho usando Qdrant como um banco de dados vetorial.
Apresentou*
