Uma skill de SEO técnico para configurar, auditar e otimizar arquivos robots.txt para gerenciar a visibilidade nos mecanismos de busca e o acesso de crawlers de IA.
Instalar e Baixar
1. ClawHub CLI
A maneira mais rápida de instalar uma habilidade diretamente do registro.
npx clawhub@latest install robots-txt
2. Instalação Manual
Copie a pasta da habilidade para um desses locais
~/.openclaw/skills/ <project>/skills/ Prioridade: Espaço de Trabalho > Local > Integrado
3. Instalação do Prompt
Copie este prompt para o OpenClaw para instalá-lo automaticamente.
Ajude-me a instalar o robots-txt usando o Clawhub. Se o Clawhub não estiver instalado, instale-o primeiro (npm i -g clawhub).
Prefere baixar?
Obtenha os arquivos originais da habilidade em um arquivo ZIP.
O que é robots-txt?
A skill robots-txt para Openclaw Skills é uma ferramenta especializada projetada para ajudar desenvolvedores e profissionais de SEO a gerenciar como os mecanismos de busca e os AI agents interagem com seus sites. Ela foca no controle de rastreamento, fornecendo um framework para configurar diretivas de Disallow e Allow, declarações de Sitemap e estratégias de crawler específicas para IA. Ao aproveitar o Openclaw Skills, você pode garantir que ativos críticos como CSS e JS permaneçam acessíveis aos mecanismos de busca modernos, enquanto protege diretórios sensíveis ou evita que o conteúdo seja usado no treinamento de modelos de IA não autorizados.
Esta skill preenche a lacuna entre a edição simples de arquivos de texto e o SEO técnico estratégico. Ela fornece insights profundos sobre o Robots Exclusion Protocol (RFC 9309) e ajuda os usuários a distinguir entre restrições de rastreamento no robots.txt e restrições de indexação via tags noindex. Usar o Openclaw Skills permite uma abordagem padronizada e livre de erros para gerenciar a acessibilidade do site em uma era onde o tráfego de AI bots está aumentando rapidamente.
Casos de uso do robots-txt
- Criar um arquivo robots.txt pronto para produção que segue as melhores práticas modernas de SEO.
- Bloquear crawlers de treinamento de IA como GPTBot ou ClaudeBot enquanto permite agentes de busca de IA através do Openclaw Skills.
- Auditar configurações de sites existentes para corrigir bloqueios acidentais de ativos de renderização críticos, como arquivos estáticos do Next.js.
- Configurar diretivas específicas para o Yandex usando Clean-param para otimizar a indexação de URL.
- Proteger ambientes de staging ou rotas de API contra o rastreamento por mecanismos de busca públicos.
Como o robots-txt funciona
- A skill primeiro verifica o contexto do projeto em arquivos como project-context.md para identificar o URL do site e os objetivos específicos de indexação.
- Ela avalia a estratégia atual de rastreamento, distinguindo entre controle em nível de caminho e necessidades de indexação em nível de página.
- Uma estratégia personalizada de crawler de IA é desenvolvida com base em se você deseja permitir bots de busca específicos ou bloquear crawlers de treinamento gerais via Openclaw Skills.
- A skill identifica caminhos críticos que devem permanecer desbloqueados, como CSS, imagens e JavaScript, para garantir a renderização adequada pelos mecanismos de busca.
- Ela gera uma estrutura de arquivo robots.txt válida, codificada em UTF-8, incluindo referências de Sitemap e regras específicas de User-agent.
Configuração do robots-txt
Para implementar esta skill dentro do ambiente do seu projeto usando o Openclaw Skills, siga estes passos básicos de configuração.
# Navegue até a raiz do seu projeto ou diretório public
cd public/
# Crie um arquivo robots.txt se ele não existir
touch robots.txt
# Revise seu project-context.md para garantir que o Site URL esteja definido
cat .claude/project-context.md
Certifique-se de que o robots.txt resultante seja servido na raiz do seu domínio (por exemplo, https://example.com/robots.txt).
Esquema de Dados e Taxonomia de robots-txt
A skill robots-txt organiza diretivas de SEO técnico em um formato estruturado com base nos padrões de metadados e schema fornecidos pelo Openclaw Skills:
| Diretiva | Tipo de Dados | Descrição |
|---|---|---|
| User-agent | String | Identifica o crawler específico ao qual a regra se aplica (por exemplo, Googlebot, GPTBot) |
| Disallow | Path String | Define diretórios ou prefixos de arquivo que não devem ser rastreados |
| Allow | Path String | Substitui regras de Disallow para subcaminhos específicos |
| Sitemap | Absolute URL | Aponta os mecanismos de busca para o índice de sitemap XML |
| Clean-param | Parameter List | Usado para o Yandex identificar parâmetros que não alteram o conteúdo da página |
Todas as configurações são geradas como texto simples UTF-8 para cumprir com o RFC 9309.
Recursos avançados do robots-txt
- Estratégia de IA multi-agent: Diferencia entre IA centrada em busca (OAI-SearchBot) e IA centrada em treinamento (CCBot) usando o Openclaw Skills.
- Proteção de renderização: Evita erros comuns como bloquear caminhos /_next/, o que pode prejudicar o SEO para frameworks JavaScript modernos.
- Lógica de Indexação vs. Rastreamento: Integra lógica para garantir que páginas com tags noindex sejam realmente alcançáveis por crawlers para processar a diretiva.
- Integração com o Contexto do Projeto: Puxa automaticamente objetivos específicos do site da documentação existente do seu projeto para uma saída personalizada de robots.txt.
- Suporte a Legado: Inclui diretivas específicas para mecanismos de busca mais antigos ou de nicho, como Yandex e AppleBot.
SKILL.md
Carregamento
Habilidades relacionadas do Openclaw
FakeX-Till-You-AI
Uma camada inteligente de postagem que converte resumos diários de IA em rascunhos personalizados para o X, com opções de agendamento automático ou semiautomático.
Relatório Diário de Timeout do AK Data
Uma skill de diagnóstico abrangente para o AK Data que unifica relatórios de timeout de tarefas e crawler com enriquecimento automático de logs e análise de lacunas.
Estratégia de Marca e Narrativa
Uma estrutura abrangente para definir o propósito da marca, arcos de storytelling, diretrizes de voz e estratégia visual de alto nível para garantir uma identidade consistente em todos os pontos de contato.
Proteção de Marca
Uma estrutura abrangente para identificar, relatar e prevenir falsificação de marca, sites de phishing e violação de marca registrada.
SEO Technical: Sitemap
Uma habilidade técnica de SEO projetada para automatizar a criação, auditoria e otimização de XML sitemaps para máxima visibilidade nos motores de busca.
Monitoramento de Marca
Uma habilidade proativa de monitoramento de marca para detectar violação de marca registrada, impersonificação e abuso de marca em canais digitais.
METADATA
Apresentou*
