./prontouso.com

FERRAMENTAS DE SEO E WEB

Gerador de robots.txt

Monte, edite e teste um arquivo robots.txt direto no navegador. Adicione grupos de robôs, regras e sitemaps, depois copie ou baixe o arquivo final.

Status da ferramentaRoda no seu navegador
Prévia
prontouso://rede/robots.txt
LOCALUTF-8ATUALIZAÇÃO AUTOMÁTICA

Configuração

As regras abaixo atualizam o arquivo automaticamente.

ENTRADA
Modelos
Grupo 1
Escolha um atalho ou escreva o seu.
Regras permitidas
1 regra
Allow
Regras bloqueadas
0 regras
Sitemaps
0

Nenhum sitemap adicionado.

Arquivo e teste

Revise, copie, baixe ou ajuste o conteúdo final manualmente.

SAÍDA
robots.txtGerado automaticamente
2 linhas23 caracteres

Testar acesso de um robô

Simule como o arquivo atual responde para um robô e caminho específicos.

Acesso permitido
A regra Allow / é a correspondência mais específica.
Processado localmente no navegador Alterações aplicadas automaticamente

Como funciona

  1. Informe os dados

    Preencha os valores, cole o texto ou envie o arquivo que esta ferramenta usa.

  2. Veja o resultado na hora

    A maioria das ferramentas atualiza enquanto você digita; algumas usam um único botão. De qualquer forma, o resultado aparece aqui mesmo.

  3. Use o resultado

    Copie, baixe ou compartilhe o que a ferramenta gerar — o controle é sempre seu.

Privacidade e processamento — Roda localmente no seu navegador. Esta ferramenta não faz upload da sua entrada.

O que é Gerador de robots.txt?

O Gerador de Robots.txt é uma ferramenta para montar regras Allow e Disallow em um ou mais grupos de user-agent, editar o arquivo final manualmente e testar se um caminho específico fica permitido ou bloqueado para um robô.

ENTENDA A FERRAMENTA

Como gerar e testar robots.txt

Adicione um ou mais grupos de robôs, monte as listas de regras permitidas e bloqueadas de cada grupo, adicione quantos sitemaps precisar e teste se um caminho fica liberado para um robô — tudo nesta página, com editor manual e modelos prontos para quando você precisar de mais controle ou de um começo mais rápido.

Escolhendo user-agents e grupos

Use os atalhos Todos, Googlebot ou Bingbot para preencher o User-agent de um grupo rapidamente, ou digite qualquer outro nome — o atalho muda automaticamente para "Personalizado" assim que o texto não corresponder a nenhum atalho. "Adicionar user-agent" acrescenta um segundo (ou terceiro) robô ao mesmo grupo quando eles devem compartilhar exatamente as mesmas regras. "Adicionar grupo" cria um grupo independente, para um robô que precisa de regras diferentes dos demais. Um grupo com User-agent: * vale para qualquer robô que não tenha seu próprio grupo mais específico — o Google não combina o grupo de um robô nomeado com o grupo * , então um grupo específico precisa repetir qualquer regra que deva herdar.

Montando as regras permitidas e bloqueadas

As listas "Regras permitidas" e "Regras bloqueadas" de cada grupo aceitam quantos caminhos você precisar — use "Adicionar regra" para criar uma nova linha e o X ao lado de cada campo para removê-la. Cada alteração atualiza o arquivo abaixo na hora. A lista "Sitemaps" no final funciona do mesmo jeito e aceita zero, um ou vários endereços de sitemap.

Modelos

A linha de modelos acima dos grupos preenche um ponto de partida comum com um clique — permitir tudo, bloquear tudo, bloquear uma pasta, permitir uma página dentro de uma pasta bloqueada, uma configuração específica para o Googlebot, um arquivo vazio, ou o exemplo ilustrativo com bloqueio de admin/private e um sitemap. Aplicar um modelo substitui os grupos e sitemaps atuais, então use Restaurar ou desfazer no editor se quiser voltar à versão anterior.

Modo automático, edição manual e Restaurar

Enquanto você usa o formulário, o arquivo exibido no editor traz o selo "Gerado automaticamente". Editar o texto diretamente no editor muda o selo para "Editado manualmente" e desconecta o conteúdo do formulário, permitindo colar ou ajustar um arquivo mais completo, com vários grupos. O botão Restaurar descarta a edição manual e reconstrói o arquivo a partir dos grupos e sitemaps atuais do formulário.

Wildcards: * e $

Um * em um caminho combina com qualquer sequência de caracteres, então Disallow: /*.pdf bloqueia todo PDF, em qualquer pasta. Um $ no final ancora o fim da URL, então Disallow: /*.pdf$ bloqueia /arquivo.pdf mas permite /arquivo.pdf?preview=1, já que a string de consulta faz a URL não terminar exatamente em .pdf.

Como o teste de caminho decide

O testador lê o conteúdo atual do arquivo, encontra o grupo cujo user-agent combina de forma mais específica com o robô informado (caindo para o grupo * somente quando nenhum grupo nomeado combina) e aplica a regra Allow ou Disallow mais específica — ou seja, o caminho mais longo — para o caminho testado. Em caso de empate no tamanho, Allow vence, seguindo o comportamento documentado pelo próprio Google de aplicar a regra menos restritiva em um conflito.

Antes de publicar

  • Teste caminhos importantes, como /, /admin/, /blog/post e arquivos de imagem, para cada robô que tiver grupo próprio.
  • Mantenha regras sensíveis simples e explícitas, e adicione todas as linhas Sitemap que você tiver.
  • Depois de publicar em /robots.txt, valide em ferramentas oficiais dos buscadores que importam para o seu site.

Privacidade e limites do robots.txt

As regras, o editor e o testador rodam inteiramente no seu navegador — nada é enviado a um servidor. Mas robots.txt é uma orientação pública para crawlers, não uma camada de segurança: qualquer pessoa pode ler o arquivo publicado, então nunca o use para esconder URLs privadas ou administrativas. Ele também só controla o rastreamento, não a indexação — uma página bloqueada ainda pode aparecer nos resultados de busca se outros sites linkarem para ela, já que o Google nunca chega a ver uma tag noindex em uma página que não tem permissão para rastrear.

Perguntas frequentes

Disallow remove uma página do Google?

Não necessariamente. Disallow orienta crawlers a não acessar a URL, mas uma página ainda pode aparecer se for descoberta por links externos. Para remoção de índice, use noindex ou controles do buscador.

Allow ou Disallow vence quando ambos combinam?

A regra mais longa vence. Se Allow e Disallow tiverem o mesmo tamanho, Allow vence — isso reflete o comportamento documentado pelo Google de aplicar a regra menos restritiva quando há conflito.

O que significam * e $ em um caminho?

* combina com qualquer sequência de caracteres, então /*.pdf combina com um arquivo .pdf em qualquer parte do caminho. Um $ no final ancora o fim da URL, então /*.pdf$ só combina com um caminho que termina exatamente em .pdf, não um seguido de uma string de consulta como ?id=1.

Preciso de um grupo separado para Googlebot ou Bingbot?

Só quando esses robôs precisarem de instruções diferentes das demais. Use os atalhos Googlebot ou Bingbot para preencher o user-agent de um grupo rapidamente; sem um grupo específico, User-agent: * cobre todos os robôs compatíveis. As regras de um grupo nomeado substituem completamente as regras do grupo * para aquele robô — elas não são combinadas.

Um arquivo robots.txt pode ter mais de uma linha Sitemap?

Sim. Um arquivo pode listar zero, um ou vários endereços de Sitemap; use "Adicionar sitemap" para incluir mais.

Onde o arquivo deve ficar?

Publique como /robots.txt na raiz do domínio, por exemplo https://example.com/robots.txt.

O que significa o selo "Editado manualmente" e o que o botão Restaurar faz?

Assim que você edita o texto do arquivo diretamente no editor, ele deixa de refletir o formulário e passa a mostrar o selo "Editado manualmente" — útil para colar um arquivo já pronto com vários grupos. O botão Restaurar descarta essa edição e reconstrói o arquivo a partir dos grupos e sitemaps atuais do formulário.

Posso adicionar quantos grupos, user-agents, regras e sitemaps eu quiser?

Sim. "Adicionar grupo" cria outro grupo de robôs, "Adicionar user-agent" acrescenta um robô ao grupo atual, e "Adicionar regra" e "Adicionar sitemap" funcionam do mesmo jeito em suas próprias listas — cada uma com um X para remover aquele item específico.

Ferramentas relacionadas