Googlebot limite son crawl à 15Mo

Nicolas Pheulpin 

Publié le : 25 juin, 2022
Catégorie : Marketing digital

The best place to hide ? the second page of Google search.

Anonymous

C’est l’été et GoogleBot fait lui aussi son régime pour avoir son summer body, fini le rab de choucroute ou la tarte flambée pour la route. Maintenant c’est 15Mo par page et puis c’est tout !
Le reste c’est retour à la cuisine, encore plus cash qu’un Philippe Etchebest dans un Cauchemar en Référencement.

Fin de partie pour les pages trop lourde

Non content de faire le difficile sur l’indexation de certaines pages depuis plusieurs mois, le GoogleBot limite son crawl à 15Mo. L’info sort tout droit du « help document » dans lequel le grand G annonce la limite.

Googlebot can crawl the first 15MB of content
in an HTML file or supported text-based file.
After the first 15MB of the file, Googlebot stops
crawling and only considers the first 15MB
of content for indexing.

Ca fait des années que sur le levier technique la vitesse de chargement d’une page et le poids des différents éléments ont leurs importances. Désormais cette nouvelle limite de poids devra être prise en compte lors d’un audit technique.

En théorie le Googlebot ne s’occupera que des premiers 15 Mo, en délaissant le reste. Dans l’hypothèse d’une page très lourde, il sera donc important d’apporter un maximum d’optimisation sur les premiers éléments chargés en mémoire. Reste la question du contenu qui se trouve au delà des 15Mo. En partant de l’hypothèse que le bot ne s’en occupe pas et ferme les yeux dessus, tout devient possible.

Pour la partie test, la solution la plus simple et la plus efficace reste bien entendu la Google Search Console avec l’inspecteur d’URL. Un bon moyen de contrôler le rendu de la page côté bot et ainsi la débugguer.

Nicolas Pheulpin

J’accompagne les entreprises dans la mise en place de stratégies efficaces
pour acquérir du trafic qualifié et augmenter les performances des campagnes
de référencement local et national avec une logique ROIste.