Uma solução sofisticada de roteamento de frota e balanceamento de carga para executar o Ollama em várias máquinas Linux através de um único endpoint unificado.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install linux-ollama
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o linux-ollama usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é linux-ollama?
Linux Ollama Herd é uma poderosa extensão do Openclaw Skills projetada para transformar uma coleção de servidores, desktops e dispositivos de borda Linux em um cluster de inferência de IA de alto desempenho. Ao utilizar um roteador central, ele agrega o poder de computação de vários nós, permitindo que os usuários acessem modelos complexos como Llama, Qwen e DeepSeek através de uma única URL do Linux Ollama. Esta configuração elimina efetivamente os gargalos da inferência em máquina única ao distribuir cargas de trabalho por toda a sua frota de hardware.
A ferramenta integra-se perfeitamente ao ecossistema Linux, oferecendo suporte nativo ao systemd para operações robustas em segundo plano e recuperação automática de serviços. Esteja você gerenciando um rack de servidores profissional ou um laboratório doméstico com dispositivos Linux mistos, esta skill fornece a infraestrutura necessária para uma implantação de IA local escalável, mantendo a compatibilidade com o SDK da OpenAI e formatos padrão da API do Ollama.
Casos de uso do linux-ollama
- Dimensionamento da inferência de IA local em várias estações de trabalho ou servidores Linux para lidar com volumes de solicitações mais altos.
- Criação de um endpoint de API de IA unificado para equipes de desenvolvimento usando hardware Linux heterogêneo.
- Implantação de grandes modelos de linguagem (LLMs) em dispositivos de borda, descarregando cálculos pesados para nós Linux mais poderosos.
- Implementação de serviços de IA de alta disponibilidade no Linux usando systemd para gerenciamento automático de tempo de atividade.
- Monitoramento centralizado e rastreamento de integridade de instâncias distribuídas do Ollama através de um único painel.
Como o linux-ollama funciona
- O roteador Linux Ollama (herd) é inicializado em uma máquina primária para atuar como o coordenador de tráfego da frota.
- Nós Linux individuais executam o agente herd-node, que descobre automaticamente o roteador central usando mDNS ou uma conexão IP direta.
- O roteador mantém um registro em tempo real dos nós disponíveis, seu status de integridade e os modelos de IA específicos carregados atualmente em cada um.
- Quando uma solicitação de API é recebida via porta unificada (11435), o roteador direciona inteligentemente o tráfego para o nó Linux mais apropriado com base na disponibilidade do modelo e na latência.
- O sistema monitora continuamente o desempenho e a integridade dos nós, fornecendo um painel ao vivo para os administradores rastrearem estatísticas de inferência em toda a frota.
Configuração do linux-ollama
Pré-requisitos
Certifique-se de ter curl ou wget instalados no seu sistema Linux.
Instalação
Primeiro, instale o serviço base do Ollama:
curl -fsSL https://ollama.ai/install.sh | sh
Em seguida, instale o gerenciador de frota compatível com Openclaw Skills:
pip install ollama-herd
Ativação
Inicie o roteador na sua máquina Linux principal:
herd
herd-node
Em todos os outros nós da sua frota Linux:
herd-node
Esquema de Dados e Taxonomia de linux-ollama
A skill gerencia seus dados de estado e desempenho através de caminhos específicos no diretório inicial do usuário. Ela usa logs estruturados para facilitar a análise e um banco de dados para rastreamento de latência.
| Tipo de Dados | Caminho / Formato | Descrição |
|---|---|---|
| DB de Latência | ~/.fleet-manager/latency.db |
Armazena desempenho de rede e tempos de resposta dos nós. |
| Logs Estruturados | ~/.fleet-manager/logs/herd.jsonl |
Logs em formato JSONL para auditoria e depuração de eventos da frota. |
| Descoberta de Nós | mDNS / IP Direto | Mecanismo de descoberta dinâmica para adicionar nós ao cluster. |
| Metadados | Configuração Openclaw | Rastrea requisitos do sistema, como status do nvidia-smi e systemctl. |
Recursos avançados do linux-ollama
- Integração com Systemd: Suporte total para execução como serviço em segundo plano com reinicializações automáticas e ativação na inicialização.
- Suporte a Multi-GPU: Roteamento inteligente baseado em vRAM disponível (NVIDIA CUDA e AMD ROCm experimental).
- Verificações de Integridade Automáticas: Possui 15 verificações de integridade automáticas acessíveis via API de monitoramento dedicada.
- Recursos Cross-Modal: Suporte para geração de imagens e embeddings de texto em toda a frota Linux distribuída.
- Otimização de Ambiente Personalizada: Configuração avançada para tempos de keep-alive de modelos e tratamento de solicitações paralelas através de variáveis de ambiente Linux.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
RTX Local AI
O RTX Local AI transforma seu PC gamer em um servidor de AI local de alta performance, permitindo que você execute LLMs massivos com zero custos de nuvem usando GPUs NVIDIA RTX.
Gerenciador de Fleet Windows Ollama
Uma ferramenta de orquestração avançada para rotear solicitações de inferência Ollama por uma rede de PCs Windows para maximizar a utilização do hardware.
Cluster de Inferência Local de AI para Windows
Uma ferramenta poderosa para transformar seus PCs Windows em um cluster de IA privado e de alto desempenho para inferência de LLM local, geração de imagens e embeddings.
wsl2-local-ai
Uma stack de desenvolvimento de LLM de alto desempenho para usuários de Windows, utilizando WSL2, NVIDIA GPU passthrough e roteamento Ollama Herd.
Linux AI Server
Transforme seu hardware Linux em um cluster de inferência de IA headless de alto desempenho usando systemd nativo e NVIDIA CUDA.
CUDA Ollama Fleet Router
Uma camada de roteamento de alto desempenho que unifica múltiplas GPUs NVIDIA em um único cluster de inferência CUDA Ollama com balanceamento de carga.
Apresentou*
