Sitemap vs robots.txt: qual é a diferença?

Por Pablo Murad. Atualizado em 21 de outubro de 2026

O sitemap lista as URLs que você quer que os buscadores encontrem. O robots.txt diz aos rastreadores quais URLs eles não devem buscar. O primeiro ajuda na descoberta, o segundo limita o rastreamento, e nenhum dos dois tira uma página dos resultados de busca.

Sitemap vs robots.txt em resumo

Comparação entre sitemap e robots.txt por finalidade, formato, local, limites e efeito no rastreamento e na indexação
	Sitemap	robots.txt
Finalidade	Informa aos buscadores quais URLs existem no seu site, para que eles as descubram.	Informa aos rastreadores quais URLs eles podem acessar. O uso principal é evitar sobrecarregar o site com requisições.
Formato	XML, RSS 2.0 ou mRSS, Atom 1.0, ou um arquivo de texto com uma URL por linha.	Texto simples em UTF-8, com os campos user-agent, allow, disallow e sitemap.
Nome e local do arquivo	Qualquer nome. O Google recomenda a raiz do site. Vale só para URLs abaixo do próprio diretório, a menos que você o envie no Search Console.	Precisa se chamar robots.txt e ficar no diretório de nível superior. Vale só para o host, o protocolo e a porta que o servem.
Limite de tamanho	50 MB descompactado ou 50.000 URLs por arquivo.	500 KiB. O que vem depois disso é ignorado.
Efeito no rastreamento	Uma dica. O Google não garante que vai baixar o sitemap nem rastrear todas as URLs dele.	Controla o que os rastreadores que seguem as regras buscam. Obedecer é voluntário: cabe ao rastreador.
Efeito na indexação	Nenhum por si só. Uma URL listada não tem indexação garantida.	Nenhum em que você possa confiar. Uma URL bloqueada ainda pode ser indexada se outros sites linkarem para ela, em geral sem descrição.
Como os buscadores o encontram	Search Console, a API do Search Console ou uma linha Sitemap no robots.txt.	Os rastreadores o pedem na raiz do host.
Tira uma página do Google	Não.	Não. O Google manda usar noindex ou proteção por senha.
Obrigatório	Não. Sites pequenos e bem linkados podem dispensá-lo.	Não. Se o arquivo retorna erro 4xx (exceto 429), o Google age como se não existisse robots.txt.

Fontes: Google, introdução ao robots.txt, Google, especificação do robots.txt, Google, criar e enviar um sitemap e o protocolo do sitemaps.org. Conferidas em 21 de outubro de 2026.

O que o sitemap faz

O sitemap é uma lista. Ele aponta aos buscadores páginas que talvez não alcancem por links e pode acrescentar detalhes sobre vídeo, imagens e notícias. O Google o descreve como um jeito de rastrear o site com mais eficiência e também diz que o arquivo não garante que todos os itens serão rastreados e indexados. O guia de sitemap XML cobre o formato.

O que o robots.txt faz

O robots.txt é um conjunto de regras de acesso. Uma linha Disallow pede aos rastreadores que fiquem fora de um caminho, e uma linha Allow abre uma exceção. A descrição do próprio Google é que o arquivo informa aos rastreadores quais URLs eles podem acessar para que o site não seja sobrecarregado com requisições. Obedecer é voluntário, e alguns rastreadores ignoram o arquivo.

robots.txt não é uma tag noindex

A confusão mais comum é bloquear uma página no robots.txt e esperar que ela suma do Google. Ela não some. O Google afirma que o robots.txt não é um mecanismo para manter uma página fora do Google: uma URL bloqueada ainda pode ser indexada quando outros sites linkam para ela e pode aparecer sem descrição. Para manter uma página fora dos resultados, use noindex ou proteção por senha. O Google também avisa que regras de rastreamento e de indexação podem se anular quando combinadas.

Como sitemap e robots.txt trabalham juntos

Aponte o sitemap a partir do robots.txt. Uma linha como Sitemap: https://www.example.com/sitemap.xml leva a URL completa, é independente de qualquer user agent, pode apontar para outro host, e você pode incluir quantas precisar.
Não liste URLs que você bloqueou. O Search Console reporta "Sitemap contains urls which are blocked by robots.txt" quando uma regra contradiz o arquivo.
Não bloqueie o próprio sitemap. O Google respeita o robots.txt ao buscar sitemaps, então uma regra que alcance o arquivo faz o relatório mostrar "Couldn't fetch".

User-agent: *
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

Aqui o carrinho fica fora do alcance dos rastreadores e o sitemap é anunciado a todo buscador que lê o arquivo. O testador de robots.txt gratuito mostra se uma URL é permitida ou bloqueada pelas suas regras.

Qual dos dois usar?

Você quer que uma página seja encontrada: linke para ela internamente e liste no sitemap.
Você quer que os rastreadores gastem menos tempo numa seção: bloqueie no robots.txt e deixe fora do sitemap.
Você quer uma página fora dos resultados de busca: use noindex ou proteção por senha, e deixe os rastreadores buscarem a página para que vejam a regra.

Os dois arquivos são independentes: o sitemap funciona sem robots.txt, e o robots.txt funciona sem sitemap. O que importa é que, se você publica os dois, eles não se contradigam. Para conferir o que o seu sitemap contém, use o validador de sitemap gratuito.

Gere um sitemap com apenas as páginas que você quer indexadas.

Rastrear um site