Google overweegt de crawlsnelheid van webpagina's te verlagen
05 februari 2022 
in Nieuws
3 min. leestijd

Google overweegt de crawlsnelheid van webpagina's te verlagen

Google overweegt de frequentie van het crawlen van webpagina's te verlagen, naarmate het zich meer bewust wordt van de duurzaamheid van crawlen en indexeren.

Dit onderwerp wordt besproken door Google’s Search Relations-team, dat bestaat uit John Mueller, Martin Splitt en Gary Illyes.

Samen bespreken ze in de nieuwste aflevering van de podcast Search Off the Record wat ze in 2022 en daarna van Google kunnen verwachten.

Een van de onderwerpen die ze behandelen, is crawlen en indexeren, waarvan SEO-professionals en website-eigenaren zeggen dat ze het afgelopen jaar minder hebben gezien.

Dat wordt een belangrijk aandachtspunt voor Google dit jaar, want het is erop gericht om crawlen duurzamer te maken door computerbronnen te sparen.

Dit is wat dat betekent voor je website en de prestaties ervan in de zoekresultaten.

Duurzaamheid van crawlen en indexeren

Aangezien het crawlen en indexeren van Googlebot virtueel gebeurt, is het niet iets waarvan u denkt dat het een impact heeft op het milieu.

Illyes brengt dit probleem onder de aandacht wanneer hij zegt dat computergebruik in het algemeen niet duurzaam is:

“… wat ik bedoel is dat computergebruik in het algemeen niet echt duurzaam is. En als je bijvoorbeeld aan Bitcoin denkt, Bitcoin-mining heeft een reële impact op het milieu die je ook daadwerkelijk kunt meten, vooral als de elektriciteit afkomstig is van kolencentrales of andere minder duurzame centrales.

We zijn koolfstofvrij sinds, ik weet het niet eens, 2007 of zoiets, 2009, maar dat betekent niet dat we onze voetafdruk op het milieu niet nog verder kunnen verkleinen. Crawlen is een van de dingen waarbij we al vroeg wat laaghangend fruit konden afsnijden.’’

Het laaghangende fruit verwijst in dit geval naar onnodig web crawlen, zoals het crawlen van webpagina's die geen recente updates hebben gehad.

Hoe gaat Google het crawlen duurzamer maken?

Illyes legt uit dat webcrawling duurzamer kan worden gemaakt door minder refresh crawls te gebruiken.

Er zijn twee soorten Googlebot-crawlen: crawlen om nieuwe content te ontdekken en crawlen om bestaande content te vernieuwen.

Google overweegt af te schalen op crawlen om content te vernieuwen.

Illyes vervolgt:

"... iets dat we doen, en we hoeven misschien niet zo veel te doen, is refreshcrawls. Als we een document, een URL, hebben ontdekt, dan crawlen we dat. Uiteindelijk gaan we terug en bezoeken we die URL opnieuw, dat is een refreshcrawl.

En iedere keer dat we teruggaan naar die ene URL is dat een refresh crawl. Nu, hoe vaak moeten we teruggaan naar die URL?’’

Hij geeft daarna een voorbeeld van bepaalde websites die een aanzienlijk aantal refresh crawls rechtvaardigen voor sommige delen van de site, maar niet voor andere.

Een website zoals Wall Street Journal werkt zijn startpagina voortdurend bij met nieuwe inhoud, dus zijn daar veel refresh crawls nodig.

Waarschijnlijk updatet WSJ zijn about pagina niet zo vaak, dus hoeft Google niet steeds refresh crawls uit te voeren op dat soort pagina’s.

‘’Dus hoef je niet zo veel en vaak terug te gaan. We kunnen dit niet goed inschatten en we hebben zeker nog ruimte voor verbetering over refresh crawls, maar soms lijkt het gewoon verspillend om steeds terug te gaan naar dezelfde URL.

Soms bereiken we bijvoorbeeld 404 pagina's zonder goede reden of zonder aanwijsbare reden. En dit zijn in feite allemaal dingen die we kunnen verbeteren en vervolgens onze voetafdruk nog meer kunnen verkleinen.’’

Als Google het aantal refresh crawls zou verminderen, wat niet voor 100% is bevestigd, dan is dit de impact die dit op je website zou kunnen hebben.

Wat betekent een verlaging van de hoeveelheid crawls voor je website?

Mensen denken vaak dat een hoge crawl rate een positief SEO-signaal is, zelfs als je je content niet zo vaak bijwerkt als Google deze crawlt. Dat is een misvatting zeg Illyes, want content scoort niet per se beter omdat deze meer wordt gecrawld.

Nogmaals, het is niet bevestigd dat Google het aantal refresh crawls gaat verminderen, maar het is een idee dat het team actief overweegt. Als Google dit idee doorzet, is dat geen slechte zaak voor je website. Meer crawlen betekent niet betere rankings.

Bovendien is het idee om in kaart te brengen welke pagina’s refresh crawls nodig hebben en welke niet. Dat betekent dat de pagina’s die je vaker aanpast nog steeds geüpdatet en gerefresht worden in je zoekresultaten.

Bron: SearchEngineJournal

Over de schrijver
Wij van de IMU zijn er om jou als ondernemer te helpen groeien via het internet. Dat doen we door de beste tips en nieuwste trends te delen via onze e-books, blogs, video’s, cursussen, podcast en evenementen. Daarnaast is het onze missie om gelijkgestemde ondernemers te verbinden binnen onze IMU Community. Ook faciliteren we je - middels onze software - om je website bezoekers, conversie, funnels, automatisering en daarmee je vrijheid als ondernemer te vergroten.
Reactie plaatsen

Meer internet marketing tips?

Wij hebben meer dan 1.400 online marketing artikelen in ons archief!