robots.txt

Qu'est-ce que le fichier robots.txt ?

Le fichier robots.txt, placé à la racine d'un domaine, indique aux robots quelles parties du site ils peuvent explorer. C'est une consigne d'exploration, pas un mécanisme de sécurité ni de désindexation.

Une consigne, pas une serrure

Le fichier liste des règles par agent : ce qui est interdit, ce qui est autorisé, où trouver le sitemap. Les robots sérieux les respectent ; les autres l'ignorent. Une URL bloquée reste accessible à quiconque en connaît l'adresse.

Autre malentendu fréquent : bloquer une page ne la désindexe pas. Si des liens pointent vers elle, elle peut apparaître dans les résultats sans description — le robot n'ayant pas eu le droit de lire son noindex.

Les erreurs les plus coûteuses

• Un Disallow général oublié après une mise en préproduction.
• Le blocage des fichiers CSS et JavaScript, qui empêche Google d'afficher la page correctement.
• Le blocage involontaire des robots d'IA, hérité d'un modèle copié ailleurs.
• L'usage du fichier pour cacher des pages sensibles, qui ne fait que publier leur adresse.

Exemple concret

Un lundi matin, le robots.txt de la préproduction part en ligne avec le nouveau site d’un grossiste en produits d’hygiène, sa règle d’interdiction générale intacte. Rien ne se voit dans le navigateur : les pages s’affichent, le formulaire fonctionne. C’est le rapport d’indexation de la Search Console qui le signale, quelques jours plus tard. La ligne retirée, il reste à attendre le repassage du robot.

À retenir

Relisez votre robots.txt une fois par an et à chaque mise en ligne. C'est un fichier de trois lignes qui peut annuler l'intégralité d'un travail de visibilité.