Budget de crawl

Qu'est-ce que le budget de crawl ?

Le budget de crawl est le nombre de pages qu'un moteur explore sur un site pendant une période donnée. Il devient un sujet à partir de plusieurs milliers d'URL, rarement avant.

Une ressource limitée, mais rarement contraignante

Google alloue à chaque site une capacité d'exploration, fonction de la santé du serveur et de l'intérêt qu'il porte au contenu. Sur un site de quelques centaines de pages, cette capacité dépasse largement les besoins : le budget n'est pas le problème.

Il le devient sur les gros catalogues, les sites à filtres combinables et les architectures qui génèrent des URL à l'infini. Le robot passe alors son temps sur des variantes sans valeur pendant que les pages utiles attendent.

Ce qui le gaspille

• Les pages de filtres et de tri accessibles sans restriction.
• Les chaînes de redirections, chaque saut consommant une exploration.
• Les pages d'erreur renvoyant un code 200 au lieu d'un 404.
• Un serveur lent : le robot ralentit pour ne pas le surcharger.

Exemple concret

Un courtier en assurance laisse son comparateur produire une URL par combinaison de garanties et d’effectif. Googlebot passe ses journées là-dessus, pendant que les fiches métier publiées au printemps n’ont jamais reçu une seule requête. Le robots.txt interdit désormais les paramètres de tri et de filtre, et le sitemap ne liste plus que les fiches canoniques. Ce que le robot peut atteindre tient en quelques centaines d’adresses.

À retenir

Avant d'optimiser un budget de crawl, vérifiez que le problème existe : le rapport d'exploration de la Search Console montre ce que le robot visite réellement. Souvent, la vraie cause est ailleurs.