Testador de robots.txt grátis
Informe a URL de um site ou página e veja se o Googlebot, o Bingbot e os principais robôs de IA podem acessá-la, segundo o robots.txt do site.
O que ele confere
O testador lê o arquivo como o Google faz, seguindo a RFC 9309.
- Busca o robots.txt na raiz do host, seguindo até cinco redirecionamentos. Um 404 significa que tudo é permitido; um 5xx faz o Google tratar o site como bloqueado.
- Escolhe o grupo que casa com cada robô pelo nome e recorre a User-agent: *. Vence o caminho mais longo que casa, e Allow vence o empate. Curingas (*) e fim de linha ($) são aceitos.
- Testa o seu caminho contra Googlebot, Bingbot, OAI-SearchBot, GPTBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended e todos os outros robôs.
- Aponta erros comuns: bloquear o site inteiro, bloquear CSS e JavaScript, faltar a linha Sitemap, URL de Sitemap relativa, linhas Noindex, erros de digitação e Crawl-delay, que o Google ignora.
Perguntas
O robots.txt tira uma página do Google?
Não. Ele controla o rastreio, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados se outras páginas linkarem para ela. Para manter uma página fora do índice, use a meta tag noindex ou o cabeçalho X-Robots-Tag, e deixe os robôs acessarem a página para lerem a instrução.
Qual regra vence quando Allow e Disallow casam ao mesmo tempo?
A mais específica, isto é, a de caminho mais longo. Se tiverem o mesmo tamanho, o Google usa a regra menos restritiva, então Allow vence.
O Google segue o Crawl-delay?
Não. O Googlebot o ignora. O Bing e alguns outros robôs o respeitam, então ele ainda ajuda se eles sobrecarregarem seu servidor.
Quer um sitemap coerente com o seu robots.txt?
O GenMap rastreia seu site, deixa de fora as páginas que o robots.txt ou o noindex tiram da busca e escreve um sitemap.xml válido.
Gerar um sitemap válido grátis