Crawl (exploration)

Qu'est-ce que le crawl ?

Le crawl est le passage d'un robot qui suit les liens d'un site pour en récupérer les pages. C'est la première étape de toute visibilité : ce qui n'est pas exploré ne peut être ni indexé, ni cité.

Suivre des liens, page après page

Un robot part d'URL connues — sitemap, liens externes, pages déjà visitées — et suit les liens qu'il rencontre. Il revient ensuite à une fréquence qui dépend de la fraîcheur constatée et de l'importance perçue du site.

L'exploration n'est pas l'indexation : une page peut être explorée puis écartée. L'inverse n'est pas vrai, une page jamais explorée n'a aucune chance.

Ce qui bloque un robot

• Un blocage dans robots.txt, volontaire ou hérité d'un modèle copié.
• Un contenu qui n'existe qu'après exécution du JavaScript.
• Une page orpheline, vers laquelle aucun lien ne pointe.
• Un serveur lent ou instable : le robot réduit sa cadence pour ne pas le surcharger.
• Une navigation par formulaire ou par bouton, sans lien réel à suivre.

Exemple concret

Le responsable technique d’un opérateur télécom pour entreprises ouvre ses journaux serveur : deux mois après la mise en ligne, Googlebot n’a jamais demandé une seule URL de la documentation. Le menu qui y conduit déplie ses rubriques au clic, sans balise d’ancrage ni adresse à suivre. Les entrées deviennent de vrais liens, et la documentation rejoint le sitemap.

À retenir

Les journaux du serveur sont la seule source fiable sur ce qui est réellement exploré, et par qui. Les outils de mesure côté navigateur ne voient aucun robot.