Technische SEO voor webshops: hoe voorkom je over-indexatie?

Hoe werkt Google?

Als je wilt weten hoe je voorkomt dat Google te veel pagina’s indexeert, is een belangrijke eerste stap begrijpen hoe Google werkt. Technische SEO vormt de basis in het vindbaar maken van je webshop voor de Google. Google gebruikt Googlebots voor het lezen van je webshop. Dit proces noemen we crawlen. Crawlen is voor zoekmachines zoals Google de essentiële eerste stap om je webshop te tonen in zoekmachines. De Googlebot heeft een beperkt budget die hij kan besteden per webshop. Dit heet het crawlbudget. Als de Googlebot geen toegang heeft tot bepaalde pagina’s in je webshop, dan zijn deze pagina’s niet zichtbaar in de zoekresultaten (zie afbeelding 1) en besteed je geen crawlbudget aan deze pagina’s.

Afbeelding 1: pagina’s die een crawlbot niet bezoekt indexeert hij niet 

De tweede stap is dat Google de gecrawlde pagina’s toevoegt aan een database en deze opneemt in de zoekresultaten. Dit proces noemen we indexeren. Google beoordeelt pagina’s op meer dan 200 factoren. De score op die factoren bepaalt welke resultaten je ziet per zoekopdracht en wat de rangorde is van de resultaten.

In afbeelding 2 zie je dat de laatste stap in het proces rendering is. Bij het indexeren van pagina’s leest Google alleen de broncode van webpagina’s uit. Steeds meer webshops maken echter gebruik van JavaScript, waarbinnen ook extra informatie te zien kan zijn. Bij het proces van rendering leest Google deze extra informatie uit, om op die manier een totaalbeeld te vormen van wat een bezoeker ziet op een webpagina.

Afbeelding 2: het renderingproces van Google

Nu je begrijpt hoe Google werkt, kun je met technische zoekmachine-optimalisatie ontdekken of je last hebt van over-indexatie en hoe je dit oplost.

Tip: lees in deze blog wat technische SEO inhoudt

Wat is over-indexatie en hoe ontstaat het?

Als er sprake is van over-indexatie, worden er meer pagina’s geïndexeerd dan dat er aan unieke producten zijn op de webshop. Er worden overbodige pagina’s geïndexeerd, die de prestatie van andere pagina’s belemmeren. Denk hierbij aan dubbele pagina’s, maar ook aan pagina’s met overlappende stukken tekst. Over-indexatie beperkt de potentie om goede posities te krijgen voor pagina’s waar zoekvolume voor is. Het is dan ook belangrijk om Google te sturen in welke pagina’s je wilt laten indexeren en welke niet. Hoe je dit doet, leg ik je uit in deze blog.

Maar waardoor ontstaat over-indexatie? Over-indexatie ontstaat als gevolg van platformfouten. Omdat de wensen van consumenten flink verschillen, bieden webshops vaak veel verschillende functionaliteiten, waarmee gebruikers hun selectie van producten kunnen verfijnen tot hetgeen waar zij in geinteresseerd zijn. Er zijn twee functionaliteiten, die niet meer weg te denken zijn van de productoverzichtpagina’s in webshops:

1. Filtering: de mogelijkheid om bijvoorbeeld een merk of kleur te selecteren
2. Sortering: de mogelijkheid om te sorteren op bijvoorbeeld de meest populaire producten of de producten met de laagste prijs

Elke keer dat een consument gebruikt maakt van één van bovenstaande functionaliteiten, ontstaat er vaak een nieuwe URL. Het gevolg? Er ontstaan talloze URL-variaties van pagina’s die bijna identiek zijn aan elkaar en over-indexatie ontstaat.

Waarom over-indexatie zo schadelijk is

Over-indexatie beperkt de potentie om goed te ranken in Google met één bepaalde pagina. Dit komt door drie belangrijke gevolgen van over-indexatie:

Crawlbudget wordt besteed aan pagina’s die geen waarde hebben voor SEO

Google moet de pagina’s binnen een webshop eerst kunnen crawlen om ze vervolgens te indexeren. Idealiter wil je dat Google alleen aandacht besteedt aan de belangrijkste pagina’s. Oftewel pagina’s met zoekwoorden waar veel zoekvolume voor is en wat past bij je assortiment. Zo wil je bijvoorbeeld liever dat Googlebot de overzichtspagina's van Puma- en Nike-schoenen indexeert, dan de overzichtspagina's van bepaalde prijsklassen. Zoals je ziet in afbeelding 3 zoeken consumenten namelijk niet op prijsklassen. Als er sprake is van over-indexatie is de kans groot, dat het crawlbudget wordt besteed aan pagina’s die geen waarde hebben voor SEO, terwijl je dit eigenlijk had willen besteden aan pagina’s die wel van waarde zijn voor SEO.  Als je crawlbudget verspilt heeft Google namelijk meer tijd nodig om wijzigingen binnen je webshop op te pikken.

Afbeelding 3: je wilt de Googlebot niet elke pagina laten indexeren

Linkwaarde wordt verdeeld over vrijwel identieke pagina’s

Linkwaarde is de waarde die een URL heeft voor Google. De linkwaarde van een pagina zegt iets over hoe belangrijk en relevant een pagina is voor Google. Hoe hoger de linkwaarde, hoe beter deze pagina kan ranken in Google. Stel, je hebt vier pagina’s die vrijwel identiek zijn doordat je een product in vier kleuren aanbiedt en hier vier verschillende pagina’s voor hebt. Dan is het aan te raden om de linkwaarde niet evenredig te verdelen over deze pagina’s. Idealiter stuurt Google alle linkwaarde door naar de belangrijkste pagina. Kortom, bij voorkeur is er één pagina 100 procent van de linkwaarde ontvangt zodat die pagina goed scoort in Google. Door over-indexatie lukt dit niet, omdat de linkwaarde wordt verdeeld over meerdere pagina’s.

Zó ontdek je of jouw webshop last hebt van over-indexatie

De eerste stap is ontdekken hoeveel pagina’s van je webshop Google indexeert. Dit kun je achterhalen via twee methodes:

1. Gebruik van ‘‘site:’’
2. Bekijk de indexeringsstatus in Google Search Console

Methode 1: gebruik van ‘‘site:’’

Typ in Google ‘‘site:’’ direct gevolgd door de domeinnaam.

Google laat zien hoeveel pagina’s er op dat moment ongeveer zijn geïndexeerd. Ook de pagina’s van eventuele subdomeinen, mits je geen ‘’www’’ gebruikt. In afbeelding 4 zie je het aantal geïndexeerde pagina’s voor Zalando.nl, inclusief subdomeinen.

Afbeelding 4: schatting van het aantal geïndexeerde pagina’s voor Zalando.nl (inclusief subdomeinen)

Het aantal geïndexeerde pagina’s mag maximaal 50 procent meer zijn dan het aantal unieke producten in je webshop. Als er meer dan twee keer zoveel pagina’s als producten zijn geïndexeerd binnen een domein, dan kan dit een signaal zijn van over-indexatie.

Methode 2: bekijk de indexeringsstatus in Google Search Console

Als je inlogt bij Google Search Console, vind je bij indexeringsstatus het aantal geïndexeerde pagina’s, zoals je ziet in afbeelding 5. Als je klikt op ‘‘excluded’’, zie je het aantal pagina’s die door Google zijn gecrawld, maar niet zijn geïndexeerd.

Afbeelding 5: voorbeeld van de indexeringsstatus in Google Search Console

Wat als de resultaten van de twee methodes niet overeenkomen?

Het kan voorkomen dat er verschillen zijn tussen het aantal geïndexeerde pagina’s bij de eerste en tweede methode. Dit komt doordat de eerste methode alleen een schatting geeft van het aantal geïndexeerde pagina’s. Beide methodes geven je inzicht in de mate van over-indexatie.

Afbeelding 6: analyse van het aantal geïndexeerde pagina’s en het eindresultaat

Hoe voorkom je over-indexatie? 

Er zijn drie veelgebruikte technische oplossingen waarmee je over-indexatie voorkomt: 

1. Canonical tag
2. Meta robots noindex
3. 301-redirect

Plaats een canonical tag

Een canonical tag vertelt Google wat de primaire-URL van een pagina is. Een canonical-URL wordt in de code van een pagina meegegeven aan zoekmachines. Dit is de URL die wordt geïndexeerd. Wanneer pagina A bijvoorbeeld een canonical URL naar pagina B heeft, wordt B geïndexeerd. Stel, een bezoeker filtert op ‘rode tas’ in je webshop (pagina A). Dan ontstaat er een URL, maar deze wil je niet laten indexeren, omdat hier bijvoorbeeld maar 1 product van is. Je stelt dan een canonical URL in die verwijst naar de bovenliggende pagina, denk aan de overzichtspagina met alle tassen (pagina B).

De linkwaarde van pagina A wordt in dit geval doorgegeven aan pagina B. Het kan voorkomen dat Google ervoor kiest om toch pagina A op te nemen in de index. De praktijk leert echter dat de zoekmachine in de situaties van filtering en sortering (waarbij meerdere pagina’s vaak identiek zijn) de canonical vrijwel altijd respecteert, wanneer de pagina’s verder identiek zijn.

Toepassing van de canonical tag voor filtering en sortering:

• Filtering: besluit op basis van een zoekwoordenonderzoek welke filteropties je wilt optimaliseren en welke niet. Op basis van zoekvolumes kun je ervoor kiezen om bepaalde filteropties wel te indexeren en andere niet. Het helpt als geïndexeerde filteropties een stukje unieke tekst bevatten en niet alleen unieke meta tags en H1.
• Sortering: sorterings-URL’s krijgen altijd een canonical tag naar de hoofdpagina.

Duplicate content is de mate waarin meerdere geïndexeerde pagina’s dezelfde content hebben. Je kunt denken aan overlappende stukken tekst, maar ook aan dubbele pagina’s.

Tip: lees in deze blog hoe je unieke teksten schrijft voor SEO

Tip: lees in deze blog alles over filtering

Plaats een meta robots noindex

Met de HTML-code noindex geef je expliciet aan dat Google een pagina niet moet indexeren. Er zijn verschillende pagina’s die je nooit wilt laten indexeren. Zo hebben webshops vaak het bestelproces op noindex staan. Niemand zoekt namelijk naar het winkelmandje in je webshop en door de meta robots noindex speel je hier geen linkwaarde aan door.

Voor filter en sorteer-URL’s kan je beter een canonical-URL inzetten. Zo kan je toch nog linkwaarde doorsturen naar een voorkeurspagina.

Plaats een 301-redirect

Met een 301-redirect verhuis je pagina A permanent naar pagina B. Dit is een signaal voor zoekmachines dat pagina A niet meer geïndexeerd mag worden. Wanneer je bijvoorbeeld ziet dat twee dezelfde productoverzichtpagina’s geïndexeerd zijn onder verschillende categoriepaden, dan kun je ervoor kiezen om de ene variant permanent te verhuizen naar de andere variant. Afhankelijk van in hoeverre de pagina’s inhoudelijk overeenkomen, helpt een 301-redirect om de huidige ranking voor die pagina te behouden.

Op de lange termijn heeft een 301-redirect van identieke pagina’s naar één voorkeurspagina een positieve impact op je rankings. De linkwaarde wordt immers volledig doorgegeven naar één voorkeurspagina.

Tip: lees hier meer over de technische richtlijnen van Google

Als je topposities wilt bereiken moeten alle SEO-onderdelen op orde zijn

SEO bestaat uit vier onderdelen: techniek, content, linkbuilding en gebruikerservaring. Als je topposities wilt bereiken in Google moet je op elk onderdeel goed scoren. Content is vaak een makkelijk begin. Wil je daarom meer tips voor het schrijven van content die origineel is en zorgt voor een goede vindbaarheid in Google? Download dan onze cheatsheet voor het schrijven van SEO-teksten.