Home › Kennisbank › Sitemap en robots.txt

Kennisbank

Een sitemap is een lijst van de pagina’s van je website die je aan zoekmachines aanbiedt, zodat ze die vlot vinden. Een robots.txt is een bestand dat zoekmachines vertelt welke delen van je site ze niet hoeven te bezoeken. Beide staan in de hoofdmap van je website en helpen zoekmachines je site efficiënt te lezen. Een fout in een van beide kan je hele site onzichtbaar maken in Google.

In dit artikel lees je wat ze doen, hoe je ze controleert en welke fouten je vermijdt.

Vraag adviesAlle artikels

Hand prikt rode spelden in een stadsplan

Sitemap

Wat is een XML-sitemap?

Een XML-sitemap is een bestand, meestal op een adres als jouwsite.be/sitemap.xml of sitemap_index.xml, met een lijst van de adressen van je pagina’s. Bij elk adres kan ook staan wanneer de pagina laatst gewijzigd werd. Zoekmachines gebruiken die lijst om nieuwe en gewijzigde pagina’s sneller te vinden.

Is een sitemap nodig?

Voor een kleine site met goede interne links vindt Google de pagina’s meestal ook zonder. Een sitemap helpt vooral bij grote sites, nieuwe sites met weinig links van buitenaf, webshops met veel producten, en pagina’s die diep in de site zitten. Ze kost niets en heeft geen nadelen, dus elke site heeft er best een.

Een sitemap-index

Grotere sites splitsen de sitemap op per soort inhoud, zoals pagina’s, berichten, producten en categorieën, met een overkoepelend indexbestand dat naar de afzonderlijke sitemaps verwijst.

Wat hoort erin, en wat niet?

Erin horen de pagina’s die je in Google wil zien: diensten, producten, categorieën, artikels. Niet erin horen pagina’s die omleiden, foutpagina’s, pagina’s die je bewust uit Google houdt, zoeken binnen de site, winkelmandjes en bedankpagina’s.

Een HTML-sitemap

Naast de XML-sitemap voor zoekmachines bestaat er soms een gewone pagina met een overzicht van alle pagina’s voor bezoekers. Die is niet nodig, maar kan helpen op grote sites.

Robots.txt

Wat is een robots.txt?

Een robots.txt is een eenvoudig tekstbestand op jouwsite.be/robots.txt. Zoekmachines lezen het als eerste wanneer ze je site bezoeken. Het bevat regels die zeggen welke delen ze wel en niet mogen bezoeken, en vaak ook het adres van de sitemap.

Broncode van een webapplicatie op een computerscherm

Waarvoor gebruik je het?

Om zoekmachines weg te houden van delen die geen waarde hebben voor zoekresultaten, zoals het beheerscherm, interne zoekresultaten of eindeloze filtercombinaties in een webshop. Zo besteden ze hun tijd aan je belangrijke pagina’s.

Wat robots.txt niet doet

Een pagina blokkeren in robots.txt houdt ze niet altijd uit de zoekresultaten. Als andere sites ernaar linken, kan Google het adres toch tonen, zonder omschrijving. Wil je een pagina echt uit Google houden, gebruik dan een noindex-instelling op de pagina zelf, en blokkeer ze niet in robots.txt, anders ziet Google die instelling niet.

Geen beveiliging

Robots.txt is een verzoek, geen slot. Het bestand is openbaar en kwaadwillige bots negeren het. Gevoelige inhoud bescherm je met een login.

AI

Robots.txt en AI-crawlers

Naast zoekmachines bezoeken vandaag ook crawlers van AI-diensten websites, om modellen te trainen of om actuele antwoorden op te zoeken. Via robots.txt kun je sommige van die crawlers toelaten of weren, op basis van hun naam.

Een bewuste keuze

Wie wil dat AI-assistenten zijn bedrijf kennen en aanhalen, laat hun crawlers toe. Wie zijn inhoud niet wil laten gebruiken voor training, kan specifieke trainingscrawlers weren. Beide keuzes zijn verdedigbaar. Het probleem ontstaat als de keuze onbewust gemaakt wordt, bijvoorbeeld door een beveiligingsinstelling of een uitbreiding die alle onbekende bots blokkeert.

Llms.txt

Sommige sites publiceren ook een llms.txt, een voorstel voor een bestand dat AI-systemen een overzicht van de belangrijkste inhoud geeft. Het is geen erkende standaard en het is niet zeker welke diensten het gebruiken. Meer lees je bij zichtbaarheid in AI.

Controleren

Hoe controleer je je sitemap en robots.txt?

Open ze in je browser

Typ je domeinnaam gevolgd door /robots.txt. Je ziet de regels. Staat er Disallow met alleen een schuine streep, dan blokkeer je je hele site. Zoek ook het adres van je sitemap en open dat.

Google Search Console

Dien je sitemap in via het onderdeel sitemaps. Search Console toont hoeveel adressen Google gevonden heeft en of er fouten zijn. In het rapport over indexering zie je welke pagina’s niet opgenomen zijn en waarom. Meer lees je in Google Analytics en Search Console.

Na elke grote wijziging

Na een nieuwe site, een verhuis, een nieuwe uitbreiding of een migratie van je webshop: controleer of de sitemap nog klopt en of robots.txt niet onverwacht iets blokkeert.

Fouten

Veelgemaakte fouten met sitemap en robots.txt

De hele site blokkeren

Tijdens de bouw wordt een nieuwe site afgeschermd voor zoekmachines. Na de lancering vergeet iemand dat uit te zetten. De site bestaat, maar verschijnt niet in Google. Een van de meest voorkomende en meest schadelijke fouten.

Belangrijke delen blokkeren

Mappen met stijlbestanden of scripts blokkeren, waardoor Google de pagina niet correct kan opbouwen en beoordelen.

Een sitemap vol foute adressen

Omgeleide pagina’s, foutpagina’s of pagina’s met een noindex in de sitemap. Google vertrouwt de sitemap dan minder.

Geen sitemap na een verhuis

Na een nieuwe site of een overstap naar https verwijst de sitemap nog naar oude adressen.

Blokkeren in plaats van noindex

Een pagina die uit Google moet, blokkeren in robots.txt in plaats van een noindex te gebruiken.

Te veel blokkeren

Uit voorzichtigheid hele delen van de site blokkeren die wel waarde hebben.

Instellen

Sitemap en robots.txt instellen in WordPress en webshops

WordPress

WordPress maakt zelf een eenvoudige sitemap. SEO-uitbreidingen maken een uitgebreidere versie, met de mogelijkheid om bepaalde soorten inhoud uit te sluiten. Een virtuele robots.txt wordt automatisch gemaakt en kan via de SEO-uitbreiding aangepast worden.

De instelling die zoekmachines weert

In de instellingen van WordPress staat een vakje om zoekmachines te ontmoedigen je site te indexeren. Het is handig tijdens de bouw, en desastreus als het na de lancering aan blijft staan. Controleer het.

WooCommerce

Producten en productcategorieën komen in de sitemap. Winkelmandje, afrekenen, accountpagina’s en filterpagina’s niet.

Shopify

Shopify maakt automatisch een sitemap en een robots.txt. Aanpassingen aan robots.txt zijn mogelijk, maar beperkt. Meer lees je bij SEO voor webshops.

Indexering

Sitemap, robots.txt en noindex: het verschil

Sitemap

Een uitnodiging: deze pagina’s wil ik graag in Google.

Robots.txt

Een verzoek: kom hier niet langs.

Noindex

Een instructie op de pagina: neem deze pagina niet op in de zoekresultaten.

Canoniek adres

Een aanwijzing: van deze bijna gelijke pagina’s is dit de echte.

Samen bepalen ze welke pagina’s Google ziet, bezoekt en toont. Ze moeten elkaar niet tegenspreken: een pagina in de sitemap die op noindex staat of geblokkeerd is in robots.txt, geeft Google tegenstrijdige signalen.

Crawlbudget

Hoe zoekmachines je site doorlopen

Zoekmachines gebruiken programma’s, crawlers of bots genoemd, die van link naar link gaan en pagina’s ophalen. Wat ze vinden, wordt verwerkt en eventueel opgenomen in de zoekindex. Pas dan kan een pagina in de resultaten verschijnen.

Ontdekken

Een crawler vindt nieuwe pagina’s via links op pagina’s die hij al kent, via links van andere sites en via je sitemap.

Ophalen

De crawler bezoekt het adres, leest eerst robots.txt, en haalt de pagina op als dat mag.

Verwerken en opnemen

De zoekmachine bekijkt de inhoud, de instellingen zoals noindex en canonieke adressen, en beslist of en hoe de pagina opgenomen wordt.

Crawlbudget

Een zoekmachine besteedt een beperkte hoeveelheid tijd aan elke site. Voor een kleine bedrijfssite speelt dat nauwelijks. Voor een webshop met tienduizenden filtercombinaties wel: als de crawler zijn tijd verspilt aan waardeloze pagina’s, worden nieuwe producten later gevonden. Een goede robots.txt, een schone sitemap en canonieke adressen helpen hem de juiste pagina’s te kiezen.

Voorbeeld

Een eenvoudige robots.txt, regel per regel

Een robots.txt voor een gewone bedrijfssite hoeft niet ingewikkeld te zijn. Een typisch bestand bevat een regel die zegt voor welke crawlers de regels gelden, meestal alle crawlers met een sterretje, een of meer regels die mappen uitsluiten zoals het beheerscherm, eventueel een regel die een onderdeel binnen die map toch toelaat, en onderaan het adres van de sitemap. Meer is voor de meeste sites niet nodig. Hoe langer en ingewikkelder het bestand, hoe groter de kans op een regel die per ongeluk iets belangrijks blokkeert. Laat wijzigingen controleren voor je ze live zet, en test na elke wijziging in Google Search Console of je belangrijke pagina’s nog bereikbaar zijn.

Nieuwe site

Checklist bij de lancering van een nieuwe site

  • De instelling die zoekmachines tijdens de bouw weert, staat uit.
  • Robots.txt blokkeert geen belangrijke pagina’s, stijlbestanden of scripts.
  • De sitemap bevat de nieuwe adressen, met https en de juiste domeinvariant.
  • De sitemap is ingediend in Google Search Console.
  • Oude adressen leiden permanent om naar de nieuwe. Meer lees je in wat is een redirect.
  • Pagina’s die niet in Google horen, zoals bedankpagina’s, staan op noindex.
  • De belangrijkste pagina’s zijn via het menu of interne links bereikbaar.

Indexering

Waarom een pagina niet in Google staat, ook met een goede sitemap

Een sitemap is een uitnodiging, geen garantie. Google beslist zelf welke pagina’s het opneemt. In het indexeringsrapport van Search Console zie je per pagina de reden waarom ze ontbreekt. De meest voorkomende:

Gevonden, maar nog niet bezocht

Google kent het adres, maar heeft de pagina nog niet opgehaald. Bij een nieuwe site of pagina meestal een kwestie van geduld en tijd, bij oudere pagina’s soms een teken dat Google de site weinig prioriteit geeft.

Bezocht, maar niet opgenomen

Google heeft de pagina gelezen en besloot ze niet op te nemen, vaak omdat de inhoud dun is of sterk lijkt op andere pagina’s. Meer en betere inhoud is dan de oplossing.

Dubbele pagina

Google vond een andere versie die het als de echte beschouwt, en toont die in de plaats.

Uitgesloten door noindex of robots.txt

Een instelling op je site houdt de pagina buiten de resultaten. Soms bewust, soms per ongeluk. Controleer bij elke belangrijke pagina in deze lijst of het de bedoeling is, en pas de instelling aan als dat niet zo is.

Veelgestelde vragen

Veelgestelde vragen over sitemap en robots.txt

Wat is een sitemap?

Een lijst van de pagina’s van je website die je aan zoekmachines aanbiedt, zodat ze die vlot vinden.

Waar vind ik mijn sitemap?

Meestal op je domeinnaam gevolgd door /sitemap.xml of /sitemap_index.xml. Het adres staat vaak ook in je robots.txt.

Wat is robots.txt?

Een tekstbestand dat zoekmachines vertelt welke delen van je site ze niet hoeven te bezoeken.

Kan ik met robots.txt een pagina uit Google houden?

Niet betrouwbaar. Gebruik daarvoor een noindex-instelling op de pagina zelf.

Moet ik mijn sitemap indienen bij Google?

Het is niet verplicht, maar wel aan te raden via Google Search Console. Zo zie je ook of er fouten zijn.

Waarom staat mijn site niet in Google?

Controleer eerst of robots.txt of een noindex-instelling je site niet blokkeert. Dat is na een nieuwe site een veel voorkomende oorzaak.

Publi4U

Een technisch gezonde website

Bij een website van Publi4U staan sitemap, robots.txt en indexering vanaf de lancering correct ingesteld. Bij een doorlichting controleren we ze voor je bestaande site.

Vraag adviesSEO-doorlichting