# Crawl (exploration)

> Le crawl est le passage d'un robot qui suit les liens d'un site pour en récupérer les pages. C'est la première étape de toute visibilité : ce qui n'est pas exploré ne peut être ni indexé, ni cité.

**Source :** https://www.scaly.co/ressources/glossaire/crawl
**Glossaire :** https://www.scaly.co/ressources/glossaire
**Auteur :** Axel Malischewski, fondateur de scaly — https://www.scaly.co/auteur/axel-malischewski
**Rubrique :** Technique
**Mis à jour le :** 2026-08-10

---

## Qu'est-ce que le crawl ?

Le crawl est le passage d'un robot qui suit les liens d'un site pour en récupérer les pages. C'est la première étape de toute visibilité : ce qui n'est pas exploré ne peut être ni indexé, ni cité.

## Suivre des liens, page après page

Un robot part d'URL connues — sitemap, liens externes, pages déjà visitées — et suit les liens qu'il rencontre. Il revient ensuite à une fréquence qui dépend de la fraîcheur constatée et de l'importance perçue du site.

L'exploration n'est pas l'indexation : une page peut être explorée puis écartée. L'inverse n'est pas vrai, une page jamais explorée n'a aucune chance.

## Ce qui bloque un robot

- Un blocage dans robots.txt, volontaire ou hérité d'un modèle copié.
- Un contenu qui n'existe qu'après exécution du JavaScript.
- Une page orpheline, vers laquelle aucun lien ne pointe.
- Un serveur lent ou instable : le robot réduit sa cadence pour ne pas le surcharger.
- Une navigation par formulaire ou par bouton, sans lien réel à suivre.

## Exemple concret

Le responsable technique d’un opérateur télécom pour entreprises ouvre ses journaux serveur : deux mois après la mise en ligne, Googlebot n’a jamais demandé une seule URL de la documentation. Le menu qui y conduit déplie ses rubriques au clic, sans balise d’ancrage ni adresse à suivre. Les entrées deviennent de vrais liens, et la documentation rejoint le sitemap.

## À retenir

Les journaux du serveur sont la seule source fiable sur ce qui est réellement exploré, et par qui. Les outils de mesure côté navigateur ne voient aucun robot.

## Questions fréquentes

### À quelle fréquence Google explore-t-il un site ?

Cela varie de plusieurs fois par jour à quelques fois par mois, selon la fréquence de mise à jour et l'importance perçue du site.

### Comment accélérer l'exploration d'une nouvelle page ?

En la reliant depuis une page déjà bien explorée, en l'ajoutant au sitemap, et en demandant une inspection d'URL dans la Search Console.

### Tous les robots se comportent-ils pareil ?

Non. Les robots des IA explorent souvent moins profondément et, pour la plupart, n'exécutent pas le JavaScript.