Robots.txt e noindex: como orientar o rastreamento e a indexação do seu site

1. Dê às instruções de rastreamento um lugar claro

O robots.txt é um arquivo de texto simples, na raiz do site, com instruções de rastreamento, por exemplo https://example.com/robots.txt. Os rastreadores que respeitam o padrão consultam esse arquivo para decidir quais URLs podem solicitar. Ele concentra a política de rastreamento do site em um só lugar.

Separe bem as funções: o robots.txt orienta os rastreadores que o respeitam, enquanto autenticação e autorização controlam o acesso ao conteúdo privado. O robots.txt também não serve para tirar uma página do Google: uma URL bloqueada ainda pode aparecer nos resultados se outras páginas apontarem para ela. A introdução do Google ao robots.txt explica para que serve cada mecanismo. No museu, as páginas das exposições e a área restrita da equipe seguem, portanto, políticas diferentes, adequadas a cada público.

As regras valem só para o protocolo, o host e a porta em que o arquivo está publicado. Revise cada origem que publica conteúdo, incluindo cada subdomínio. Trabalhar com a origem exata facilita documentar e testar a política à medida que o site cresce.

2. Escolha a instrução de acordo com o objetivo

Escolha o mecanismo pelo objetivo de publicação. Uma página pública de confirmação, por exemplo, pode ter noindex e continuar acessível, para que a instrução possa ser lida. As orientações do Google sobre noindex explicam como publicar essa diretiva.

3. Monte uma regra precisa, do agente ao caminho

Um grupo começa com User-agent, que identifica o rastreador ao qual as regras se aplicam. Disallow e Allow descrevem caminhos. No Google, a comparação diferencia maiúsculas de minúsculas e vence a regra mais específica, ou seja, a de caminho mais longo; em caso de empate, vale a menos restritiva, o Allow. Consulte a documentação de cada rastreador para saber como ele faz a correspondência.

User-agent: *
Disallow: /internal/
Allow: /internal/public-calendar.json$
Sitemap: https://example.com/sitemap.xml

Essa política ilustrativa bloqueia o rastreamento do caminho interno e abre uma exceção exata para um arquivo de agenda que é público de propósito. O $ marca o fim da URL: com ele, a mesma URL seguida de um parâmetro (por exemplo, ?v=2) deixa de corresponder à exceção. Se a aplicação usa parâmetros de consulta, inclua essas URLs reais nos testes e decida como cada uma deve ser tratada.

A especificação de correspondência do Google é uma boa referência para combinar uma regra ampla com uma exceção precisa. Documente por que cada exceção existe, para que outra pessoa consiga manter o arquivo sem precisar adivinhar.

4. Planeje os recursos que montam a página

A agenda do museu pode combinar uma página pública, um script, estilos e um arquivo de dados. Identifique essas peças na aba Rede das ferramentas de desenvolvedor do navegador e veja como cada uma contribui para a experiência do visitante. Um plano de publicação completo inclui a página e os recursos usados para exibi-la.

Compare a resposta inicial com a versão renderizada da página publicada. Assim você vê onde os títulos, as datas dos eventos e a navegação são montados. A documentação do Google sobre SEO para JavaScript explica como o carregamento dos recursos e a renderização funcionam juntos.

Publique a informação pública em recursos públicos e deixe as operações da área restrita protegidas pelas permissões normais. Cada recurso fica com uma função clara: os dados dos eventos alimentam a agenda, os estilos cuidam da apresentação e os endpoints da equipe atendem ao trabalho autenticado.

5. Crie um checklist curto de publicação

1. Liste as páginas públicas que você quer que sejam descobertas.
2. Anote a origem exata e o grupo de rastreador que se aplica.
3. Revise a resposta, os redirecionamentos e os metadados de cada página.
4. Siga os recursos que geram o conteúdo principal.
5. Alinhe a tag canonical e o sitemap com as URLs preferidas.
6. Registre quando você revisou a página publicada e as informações de indexação.

Com isso, a política de rastreamento passa a fazer parte da rotina de publicação. A página da exposição, a agenda e o guia de visita podem compartilhar um template, então uma boa prática bem definida vale para todas elas. Acrescente URLs representativas sempre que surgir uma nova seção ou um novo padrão de parâmetros.

Defina prioridades pelo público e pelo propósito. Informação pública acessada com frequência merece um caminho simples, enquanto a área administrativa tem o próprio controle de acesso. A pergunta útil é como cada parte atende ao leitor e como a política de rastreamento reflete essa escolha.

6. Confirme a política e acompanhe o caminho da página

Depois de publicar uma regra, abra o robots.txt público e confira o conteúdo exato. Teste os caminhos que devem corresponder à regra, a exceção específica e endereços vizinhos. Acesse a página como um visitante comum e confirme que a informação principal aparece na versão renderizada. Guarde essas evidências junto com a decisão.

O Google costuma manter o robots.txt em cache por até 24 horas, às vezes mais, e as informações de indexação refletem o tempo de processamento do buscador. O relatório de indexação de páginas do Search Console ajuda a acompanhar essa linha do tempo. O sitemap e a solicitação de indexação ajudam na descoberta e dão uma referência consistente das URLs públicas.

Mais tarde, no relatório de Performance, compare períodos completos usando os mesmos filtros de página, tipo de pesquisa, país e dispositivo. Anote as datas de publicação e as campanhas das exposições para que os números tenham contexto. Em um site pequeno, um período de observação mais longo costuma dizer mais. Acompanhe três marcos: acesso público, indexação e visitas úteis vindas da busca.

7. Leve essas observações para a rotina de publicação

Em uma auditoria de SEO, o Sitelemetry pode reunir observações sobre robots.txt, sitemap, canonical, redirecionamentos e links internos das páginas analisadas. Mantenha juntos a URL, a regra relevante e o objetivo de publicação e revise tudo ao lado da página publicada e das ferramentas do buscador. O guia de auditoria de SEO técnico explica o caminho completo da descoberta, e o glossário traz definições rápidas.

Essa auditoria faz parte dos planos pagos, a partir do Starter (US$ 49 por mês), e lê o HTML estático das páginas, sem executar JavaScript. Ela também aponta quando o robots.txt bloqueia o site inteiro para todos os robôs ou para rastreadores de IA conhecidos, como GPTBot e ClaudeBot; no segundo caso, o bloqueio pode ser uma decisão intencional.