Koanthic
Fermer
crawl-budget-google-complete-gsc-stats-guide-2026_1200x628

Crawl budget Google : 6 pratiques recommandées par Google

Le crawl budget Google, ou budget d’exploration, est « l’ensemble des URL que Google peut et veut explorer » sur un site, selon le guide Gestion du budget d’exploration. Il dépend de deux choses : ce que votre serveur peut supporter et l’intérêt que Google porte à vos pages.

La plupart des sites n’ont pas à s’en soucier. Cet article précise qui est concerné, comment lire le rapport « Statistiques sur l’exploration » de la Search Console et quelles pratiques Google recommande ou déconseille.

À retenir

  • Le guide de Google vise surtout les sites de plus d’un million de pages, ou de plus de 10 000 pages modifiées chaque jour.
  • Le rapport « Statistiques sur l’exploration » n’est offert qu’aux propriétés situées à la racine d’un site.
  • On ne peut pas demander à Google d’explorer un site plus vite.
  • La balise noindex ne réduit pas l’exploration : Google doit quand même demander la page pour la lire.

Qu’est-ce que le crawl budget Google?

Le budget d’exploration résulte de deux composantes que Google définit séparément. La limite de capacité d’exploration borne ce que Google peut demander à votre serveur sans le surcharger. Le besoin d’exploration traduit l’intérêt de Google pour vos pages. Le budget découle de ces deux composantes.

Composante Ce qui l’augmente Ce qui la réduit
Limite de capacité d’exploration Un site qui répond de façon stable et rapide Les ralentissements, les erreurs serveur 5xx et les réponses 429
Besoin d’exploration Des pages populaires, mises à jour et de qualité Les doublons et les pages inutiles dans l’inventaire d’URL
Schéma des deux composantes du crawl budget Google : capacité du serveur et besoin d'exploration
Le crawl budget Google combine la capacité du serveur et l’intérêt de Google pour les pages.

Un événement qui touche tout le site, comme une migration, peut aussi faire grimper le besoin d’exploration pendant un temps.

Ce qui fait varier le crawl budget Google

Le crawl budget Google se calcule par nom d’hôte. Pour Google, un site correspond à un nom d’hôte unique : www.example.com et code.example.com ont donc chacun leur budget.

Du côté du besoin d’exploration, le guide nomme quatre facteurs.

  • L’inventaire perçu. Sans indication de votre part, Google tente d’explorer la plupart des URL qu’il connaît. Si beaucoup sont des doublons ou des pages sans intérêt, il y perd du temps. Google précise que c’est le facteur le plus facile à maîtriser.
  • La popularité. Les URL les plus populaires sur le Web sont explorées plus souvent.
  • L’obsolescence. Google cherche à revoir les pages assez souvent pour en repérer les changements.
  • Les événements à l’échelle du site. Une migration, par exemple, accroît le besoin d’exploration le temps de retraiter les nouvelles adresses.

Du côté de la capacité, la limite est commune à tous les robots de Google. Une forte demande d’un robot peut donc réduire la capacité disponible pour les autres. Et même quand la limite n’est pas atteinte, un faible besoin d’exploration se traduit par moins de visites.

Votre site est-il concerné?

Probablement pas, si votre site est de taille modeste. Le guide de Google s’adresse surtout à trois profils, avec des seuils présentés comme une approximation générale :

  • les sites de plus d’un million de pages uniques, dont le contenu change environ une fois par semaine;
  • les sites de plus de 10 000 pages uniques, dont le contenu change chaque jour;
  • les sites dont une part importante des URL porte la mention « Détectée, actuellement non indexée » dans la Search Console.

Pour tous les autres sites, le guide tient en une phrase : tenir le sitemap à jour et consulter régulièrement le rapport sur l’indexation des pages. Le crawl budget Google n’y demande aucun réglage particulier.

Le troisième profil peut concerner un site de n’importe quelle taille. Il se vérifie dans le rapport sur la couverture de l’index. L’aide de la Search Console va dans le même sens : si votre site compte moins de 1 000 pages, le rapport sur l’exploration vous sera probablement inutile.

Lire le rapport « Statistiques sur l’exploration »

Le rapport se trouve dans les paramètres de la propriété, sous « Statistiques sur l’exploration ». Il n’est offert qu’aux propriétés de domaine et aux propriétés avec préfixe d’URL situées à la racine, comme https://example.com, précise l’aide de la Search Console. Il affiche trois indicateurs : le total des demandes d’exploration, la taille de téléchargement totale et le temps de réponse moyen.

Bannière Koanthic : « Vos données, enfin lisibles. » Réserver un appel.

Les demandes sont ensuite ventilées de quatre façons.

Regroupement Ce qu’il montre
Par réponse La part de chaque code de réponse du serveur
Par type de fichier HTML, image, JavaScript, CSS, PDF et autres
Par objectif « Découverte » d’une URL jamais explorée ou « Actualisation » d’une page connue
Par type de Googlebot Smartphone, ordinateur, image, vidéo, AdsBot et autres

Google précise que les codes 200, 301, 302 et 304 sont généralement sains. Les erreurs 404 sont souvent acceptables, mais elles méritent une vérification. Les codes 5xx, les erreurs DNS et les délais d’expiration sont à corriger. Les pourcentages portent sur le nombre de demandes, et non sur le nombre d’URL.

Les trois indicateurs ont un sens précis. Le total des demandes compte chaque demande, aboutie ou non, et les doublons séparément. La taille de téléchargement additionne les octets reçus pendant l’exploration. Le temps de réponse moyen porte sur toutes les ressources récupérées, chacune comptant comme une réponse distincte.

Deux précisions évitent une mauvaise lecture. Les redirections côté serveur sont comptées une par une. Et les demandes faites à un autre domaine, comme des images hébergées ailleurs, ne paraissent pas dans le rapport.

Lire les réponses d’exploration

Le regroupement par réponse est le plus parlant pour juger du crawl budget Google. L’aide de la Search Console classe les réponses en trois groupes.

Groupe Réponses Lecture
Sans problème OK (200), déplacement permanent (301, 308) ou temporaire (302, 307), non modifié (304) Le code 200 doit représenter la grande majorité des réponses
À vérifier Page introuvable (404) Souvent normal; corriger toutes les erreurs 404 n’est ni possible ni souhaitable
À corriger Robots.txt non disponible, non autorisé (401, 407), erreur serveur (5xx), autre erreur client (4xx), erreur DNS, expiration de la page, erreur liée à des redirections Ces réponses gaspillent des demandes ou bloquent l’exploration

Pour les pages qui exigent une connexion, Google conseille de les bloquer par robots.txt ou de les ouvrir. Il ajoute une mise en garde : l’identité de Googlebot peut être usurpée, si bien qu’un accès accordé à Googlebot rend en pratique la page publique.

Chaque ligne du tableau donne des exemples d’URL. Cette liste n’est pas complète : une URL absente des exemples a pu être demandée quand même.

Quels robots consomment le crawl budget Google?

Le regroupement par type de Googlebot montre qui visite le site. En cas de pic, c’est la première chose à regarder.

Type Rôle
Smartphone et Ordinateur Les deux versions du robot principal
Image et Vidéo Les robots propres à ces contenus
Chargement des ressources de la page La récupération des images, feuilles de style et scripts nécessaires au rendu d’une page
AdsBot Le robot des annonces, qui explore environ toutes les deux semaines
StoreBot Le robot d’exploration des produits

Un pic d’AdsBot vient souvent des cibles créées pour les annonces dynamiques du Réseau de Recherche. Google propose alors de limiter ces cibles, d’ajouter les URL par petits lots ou d’augmenter la capacité du serveur.

Le regroupement par type de fichier aide, lui, à trouver la cause d’un ralentissement : un grand nombre de petites images, par exemple, ou des ressources hébergées sur un site lent.

Comprendre l’état de l’hôte

L’état de l’hôte résume la disponibilité de votre site pour Google au cours des 90 derniers jours. Il tient en trois couleurs.

  • Vert : aucun problème majeur de disponibilité sur la période.
  • Orange : au moins un problème, survenu il y a plus d’une semaine.
  • Rouge : au moins un problème au cours de la dernière semaine.

Trois points sont suivis : la lecture du fichier robots.txt, la résolution DNS et la connectivité du serveur. Un problème est signalé quand une mesure dépasse le seuil tracé sur le graphique, par exemple un échec DNS sur plus de 5 % des demandes d’une journée. Un fichier robots.txt illisible peut ralentir ou arrêter l’exploration; en revanche, un fichier absent, qui renvoie une erreur 404, est acceptable.

La suite dépend du point en cause. Pour le DNS, Google conseille de joindre le bureau d’enregistrement du nom de domaine et de vérifier la configuration. Pour la connectivité, le serveur n’a pas répondu ou a renvoyé une réponse incomplète : la cause est à chercher du côté de l’hébergement. Dans les deux cas, l’objectif est de revenir à un état vert.

Que se passe-t-il quand robots.txt ne répond plus?

Google demande ce fichier souvent, et sa réaction à une panne suit un calendrier précis.

  1. Si Google a obtenu une réponse valide dans les 24 dernières heures, il s’en sert.
  2. En cas d’échec, l’exploration s’arrête pendant les 12 premières heures.
  3. Ensuite, Google utilise la dernière version connue du fichier, jusqu’à 30 jours.
  4. Après 30 jours, il explore sans restriction si la page d’accueil répond. Sinon, il cesse d’explorer le site.

Les réponses 429 et 5xx comptent comme des échecs. Une réponse 200, même pour un fichier vide, est valide. Google déconseille aussi de faire varier la réponse du fichier selon le robot qui le demande.

Pour une propriété de domaine qui compte plusieurs sous-domaines, le rapport présente une liste d’hôtes. Elle se limite aux 20 sous-domaines les plus visités au cours des 90 derniers jours.

Crawl budget Google : six pratiques recommandées

Le guide de Google énumère les gestes qui aident ses robots à consacrer leur temps aux bonnes pages. Ils relèvent tous de l’entretien courant d’un site.

Bannière Koanthic : « Vos images, optimisées. » Réserver un appel.
  1. Gérez votre inventaire d’URL. Regroupez le contenu en double et bloquez par robots.txt les URL sans intérêt pour la recherche.
  2. Renvoyez un code 404 ou 410 pour les pages supprimées pour de bon.
  3. Éliminez les erreurs « soft 404 ». Ces pages continuent de consommer du budget.
  4. Tenez vos sitemaps à jour, avec la balise lastmod pour le contenu modifié. Notre article sur les sitemaps dans la Search Console explique comment.
  5. Évitez les longues chaînes de redirection.
  6. Accélérez le chargement des pages et utilisez la mise en cache HTTP, qui permet de répondre 304 pour une page inchangée.

Le premier geste est le plus rentable. Google cite deux cas types à bloquer par robots.txt quand on ne peut pas les regrouper : les pages à défilement infini qui répètent un contenu, et les versions triées autrement d’une même page.

Le deuxième geste a une raison précise. Une URL simplement bloquée reste plus longtemps dans la file d’exploration et sera redemandée dès que le blocage sera levé. Un code 404 ou 410 dit clairement à Google que la page n’existe plus.

Deux fausses bonnes idées

Deux réflexes courants ne donnent pas le résultat espéré, et Google les déconseille expressément.

  • Ajouter noindex pour économiser de l’exploration. Google envoie quand même une requête avant d’abandonner la page, ce qui consomme des ressources.
  • Bloquer des pages par robots.txt pour en favoriser d’autres. Le budget libéré n’est pas redistribué, sauf si le site approche déjà de sa limite de capacité.

Le fichier robots.txt sert à écarter durablement des URL sans valeur, pas à diriger les robots d’une semaine à l’autre.

Peut-on augmenter son crawl budget Google?

Oui, mais par deux moyens seulement, selon le guide.

  • Ajouter des ressources au serveur. La mesure n’a de sens que si l’exploration bute sur la capacité. Le message « Charge de l’hôte dépassée », dans l’outil d’inspection d’URL, en est le signe.
  • Améliorer la qualité du contenu. Pour la recherche, Google tient compte de la popularité des pages, de leur valeur pour l’internaute et de l’originalité du contenu.

Il n’existe donc aucun réglage à activer. Le crawl budget Google suit la santé du serveur et l’intérêt des pages, pas une demande du propriétaire.

Exploration trop forte ou trop faible : que faire?

Si l’exploration surcharge votre serveur, Google propose deux mesures temporaires : bloquer l’agent en cause dans robots.txt, ce qui peut prendre une journée à faire effet, ou renvoyer des codes 503 ou 429 quand le serveur approche de sa limite. Ces réponses ne doivent pas durer plus de deux ou trois jours.

Si l’exploration vous paraît trop faible, sachez qu’on ne peut pas demander à Google de l’augmenter. Pour un site petit ou moyen, Google conseille de mettre les sitemaps à jour et de vérifier qu’aucune page utile n’est bloquée. Une baisse peut venir de quatre causes :

  • une règle robots.txt trop large;
  • des réponses lentes;
  • une hausse des erreurs serveur;
  • un contenu peu mis à jour.

Le rapport sur l’exploration fait partie d’un ensemble. Notre guide de la Google Search Console présente les autres rapports utiles au suivi technique.

La vitesse d’exploration est généralement stable sur une à deux semaines. Un écart ponctuel d’un jour à l’autre n’a donc rien d’inquiétant.

Dernier cas, plus rare : les totaux du rapport dépassent nettement ceux des journaux du serveur. Google l’explique par un fichier robots.txt resté indisponible trop longtemps. Il compte alors les explorations qu’il aurait faites, sans les effectuer.

Questions fréquentes sur le crawl budget Google

Le crawl budget Google concerne-t-il un site de 200 pages?

Non, sauf exception. Les seuils du guide parlent de plus de 10 000 pages modifiées chaque jour ou de plus d’un million de pages. Pour les autres sites, Google conseille simplement de tenir le sitemap à jour et de consulter le rapport sur l’indexation des pages.

Une page explorée est-elle forcément indexée?

Non. L’exploration et l’indexation sont deux étapes distinctes. Une page peut être lue sans être retenue : c’est le sens de la mention « Explorée, actuellement non indexée ».

Pourquoi le rapport « Statistiques sur l’exploration » est-il introuvable?

Il n’est offert qu’aux propriétés de domaine et aux propriétés avec préfixe d’URL situées à la racine. Une propriété créée pour un sous-répertoire ne l’affiche pas. Notre article sur la vérification de la propriété du site explique la différence entre ces types de propriété.

Faut-il bloquer les fichiers CSS et JavaScript pour économiser du budget?

Non. Google met en garde contre une règle robots.txt trop large : il ne faut pas bloquer les feuilles de style ni les scripts nécessaires à l’affichage des pages.

Les chiffres du rapport diffèrent de mes journaux de serveur. Est-ce normal?

Un léger écart est normal. Google précise que certaines demandes peuvent manquer dans le rapport. Un écart important, lui, renvoie souvent à l’état du fichier robots.txt.

Une migration de site change-t-elle l’exploration?

Oui, pour un temps. Le guide de Google cite les migrations parmi les événements qui augmentent le besoin d’exploration : Google doit retraiter le contenu sous ses nouvelles adresses. Prévoyez donc un serveur capable d’absorber cette hausse pendant la période qui suit la mise en ligne, et gardez un œil sur l’état de l’hôte.

Comment savoir si Google découvre mes nouvelles pages?

Regardez le regroupement par objectif. Après un ajout important de contenu ou l’envoi d’un sitemap, la part des demandes de type « Découverte » augmente. Si vos pages changent plus vite que Google ne revient, listez-les dans un sitemap.

Sources

Mis à jour le 17 novembre 2026.

Votre site est-il bien exploré?

Un serveur lent ou une règle de blocage mal écrite suffisent à freiner Google sans que rien ne paraisse à l’écran. L’équipe de Koanthic peut lire vos statistiques d’exploration avec vous et repérer ce qui ralentit vos pages. Réservez un appel pour en discuter.

Koanthic
Résumé de la politique de confidentialité

Ce site utilise des cookies afin que nous puissions vous fournir la meilleure expérience utilisateur possible. Les informations sur les cookies sont stockées dans votre navigateur et remplissent des fonctions telles que vous reconnaître lorsque vous revenez sur notre site Web et aider notre équipe à comprendre les sections du site que vous trouvez les plus intéressantes et utiles.