Robots.txt : offrir une route claire à vos contenus publics

1. Donner un emplacement clair aux consignes

Robots.txt regroupe les consignes à la racine du site, par exemple https://example.com/robots.txt. Les robots coopératifs consultent ce texte pour décider quelles URL demander. La politique d’exploration dispose d’un lieu commun.

Répartissez les rôles : robots guide l’exploration, authentification et autorisation gèrent les contenus privés. L’introduction de Google explique ces objectifs. Expositions et comptes du personnel peuvent ainsi suivre des règles adaptées.

Les règles appartiennent au schéma, à l’hôte et au port. Examinez chaque origine qui publie, y compris les sous-domaines. L’origine exacte facilite documentation et tests lorsque le site évolue.

2. Choisir selon l’objectif éditorial

Partez de l’objectif. Une confirmation publique peut porter noindex tout en restant récupérable pour lire la consigne. Le guide noindex décrit sa publication.

3. Construire une règle précise de l’agent au chemin

Un groupe commence par User-agent, qui désigne le robot. Disallow et Allow définissent les chemins. Pour Google, la casse compte, la règle la plus précise gagne et Allow l’emporte à égalité. Consultez la documentation du robot concerné.

User-agent: *
Disallow: /internal/
Allow: /internal/public-calendar.json$
Sitemap: https://example.com/sitemap.xml

Cette politique illustrative réserve le chemin interne à l’écart de l’exploration générale et autorise exactement un calendrier volontairement public. $ marque la fin du motif. Intégrez les adresses avec paramètres réels aux tests et choisissez leur traitement.

La spécification de correspondance aide à combiner règle large et exception précise. Documentez la raison de chaque exception pour faciliter la maintenance par un autre éditeur.

4. Planifier les ressources qui construisent la page

Le calendrier peut associer page publique, script, styles et données. Identifiez les pièces dans la vue réseau et leur contribution à l’expérience. Un plan de publication comprend la page et ses ressources de présentation.

Comparez la réponse initiale avec le rendu en direct. Vous voyez où se forment titres, dates et navigation. La documentation JavaScript SEO explique la coopération entre récupération et rendu.

Les informations publiques empruntent une livraison publique adaptée ; les opérations de compte utilisent leurs permissions habituelles. Chaque ressource a son rôle : données du calendrier, styles de présentation et fonctions de l’équipe authentifiée.

5. Préparer une petite liste de publication

1. Lister les pages publiques à faire découvrir.
2. Noter origine exacte et groupe applicable.
3. Revoir réponse, redirections et métadonnées.
4. Suivre les ressources du contenu principal.
5. Aligner canonical et sitemap.
6. Dater la revue du direct et de l’indexation.

La politique devient une habitude éditoriale. Exposition, calendrier et guide de visite peuvent partager un modèle ; une bonne pratique soutient la collection. Ajoutez des URL représentatives pour les nouvelles sections et les paramètres.

Priorisez selon public et objectif. Une information publique fréquente mérite un chemin simple ; l’administration utilise son propre accès. Demandez comment chaque partie sert le lecteur et comment la politique reflète ce choix.

6. Confirmer la politique et observer le parcours

Après publication, récupérez robots.txt et relisez son contenu exact. Testez chemins, exception et adresses voisines. Ouvrez la page comme visiteur et confirmez les informations principales dans le rendu. Conservez ces éléments avec la décision éditoriale.

Les moteurs peuvent mettre les consignes en cache ; les données d’indexation suivent leur traitement. Le rapport d’indexation permet d’en suivre la chronologie. Sitemap et demande d’indexation soutiennent la découverte et fournissent une référence cohérente.

Comparez ensuite des périodes complètes avec les mêmes filtres de page, recherche, pays et appareil. Notez publications et campagnes pour garder le contexte. Une observation plus longue peut être instructive pour un petit site. Suivez accès public, indexation et visites utiles.

7. Intégrer les observations à la routine

Sitelemetry peut recueillir des observations sur robots, les pages et l’indexation dans un audit SEO. Gardez URL, règle et objectif ensemble, avec la page et les outils du moteur. Le guide SEO technique développe le parcours et le glossaire offre des définitions.