Home › Kennisbank › Sitemap en robots.txt
Kennisbank
Een sitemap is een lijst van de pagina’s van je website die je aan zoekmachines aanbiedt, zodat ze die vlot vinden. Een robots.txt is een bestand dat zoekmachines vertelt welke delen van je site ze niet hoeven te bezoeken. Beide staan in de hoofdmap van je website en helpen zoekmachines je site efficiënt te lezen. Een fout in een van beide kan je hele site onzichtbaar maken in Google.
In dit artikel lees je wat ze doen, hoe je ze controleert en welke fouten je vermijdt.

Sitemap
Wat is een XML-sitemap?
Een XML-sitemap is een bestand, meestal op een adres als jouwsite.be/sitemap.xml of sitemap_index.xml, met een lijst van de adressen van je pagina’s. Bij elk adres kan ook staan wanneer de pagina laatst gewijzigd werd. Zoekmachines gebruiken die lijst om nieuwe en gewijzigde pagina’s sneller te vinden.
Is een sitemap nodig?
Voor een kleine site met goede interne links vindt Google de pagina’s meestal ook zonder. Een sitemap helpt vooral bij grote sites, nieuwe sites met weinig links van buitenaf, webshops met veel producten, en pagina’s die diep in de site zitten. Ze kost niets en heeft geen nadelen, dus elke site heeft er best een.
Een sitemap-index
Grotere sites splitsen de sitemap op per soort inhoud, zoals pagina’s, berichten, producten en categorieën, met een overkoepelend indexbestand dat naar de afzonderlijke sitemaps verwijst.
Wat hoort erin, en wat niet?
Erin horen de pagina’s die je in Google wil zien: diensten, producten, categorieën, artikels. Niet erin horen pagina’s die omleiden, foutpagina’s, pagina’s die je bewust uit Google houdt, zoeken binnen de site, winkelmandjes en bedankpagina’s.
Een HTML-sitemap
Naast de XML-sitemap voor zoekmachines bestaat er soms een gewone pagina met een overzicht van alle pagina’s voor bezoekers. Die is niet nodig, maar kan helpen op grote sites.
Robots.txt
Wat is een robots.txt?
Een robots.txt is een eenvoudig tekstbestand op jouwsite.be/robots.txt. Zoekmachines lezen het als eerste wanneer ze je site bezoeken. Het bevat regels die zeggen welke delen ze wel en niet mogen bezoeken, en vaak ook het adres van de sitemap.

Waarvoor gebruik je het?
Om zoekmachines weg te houden van delen die geen waarde hebben voor zoekresultaten, zoals het beheerscherm, interne zoekresultaten of eindeloze filtercombinaties in een webshop. Zo besteden ze hun tijd aan je belangrijke pagina’s.
Wat robots.txt niet doet
Een pagina blokkeren in robots.txt houdt ze niet altijd uit de zoekresultaten. Als andere sites ernaar linken, kan Google het adres toch tonen, zonder omschrijving. Wil je een pagina echt uit Google houden, gebruik dan een noindex-instelling op de pagina zelf, en blokkeer ze niet in robots.txt, anders ziet Google die instelling niet.
Geen beveiliging
Robots.txt is een verzoek, geen slot. Het bestand is openbaar en kwaadwillige bots negeren het. Gevoelige inhoud bescherm je met een login.
AI
Robots.txt en AI-crawlers
Naast zoekmachines bezoeken vandaag ook crawlers van AI-diensten websites, om modellen te trainen of om actuele antwoorden op te zoeken. Via robots.txt kun je sommige van die crawlers toelaten of weren, op basis van hun naam.
Een bewuste keuze
Wie wil dat AI-assistenten zijn bedrijf kennen en aanhalen, laat hun crawlers toe. Wie zijn inhoud niet wil laten gebruiken voor training, kan specifieke trainingscrawlers weren. Beide keuzes zijn verdedigbaar. Het probleem ontstaat als de keuze onbewust gemaakt wordt, bijvoorbeeld door een beveiligingsinstelling of een uitbreiding die alle onbekende bots blokkeert.
Llms.txt
Sommige sites publiceren ook een llms.txt, een voorstel voor een bestand dat AI-systemen een overzicht van de belangrijkste inhoud geeft. Het is geen erkende standaard en het is niet zeker welke diensten het gebruiken. Meer lees je bij zichtbaarheid in AI.
Controleren
Hoe controleer je je sitemap en robots.txt?
Open ze in je browser
Typ je domeinnaam gevolgd door /robots.txt. Je ziet de regels. Staat er Disallow met alleen een schuine streep, dan blokkeer je je hele site. Zoek ook het adres van je sitemap en open dat.
Google Search Console
Dien je sitemap in via het onderdeel sitemaps. Search Console toont hoeveel adressen Google gevonden heeft en of er fouten zijn. In het rapport over indexering zie je welke pagina’s niet opgenomen zijn en waarom. Meer lees je in Google Analytics en Search Console.
Na elke grote wijziging
Na een nieuwe site, een verhuis, een nieuwe uitbreiding of een migratie van je webshop: controleer of de sitemap nog klopt en of robots.txt niet onverwacht iets blokkeert.
Fouten
Veelgemaakte fouten met sitemap en robots.txt
De hele site blokkeren
Tijdens de bouw wordt een nieuwe site afgeschermd voor zoekmachines. Na de lancering vergeet iemand dat uit te zetten. De site bestaat, maar verschijnt niet in Google. Een van de meest voorkomende en meest schadelijke fouten.
Belangrijke delen blokkeren
Mappen met stijlbestanden of scripts blokkeren, waardoor Google de pagina niet correct kan opbouwen en beoordelen.
Een sitemap vol foute adressen
Omgeleide pagina’s, foutpagina’s of pagina’s met een noindex in de sitemap. Google vertrouwt de sitemap dan minder.
Geen sitemap na een verhuis
Na een nieuwe site of een overstap naar https verwijst de sitemap nog naar oude adressen.
Blokkeren in plaats van noindex
Een pagina die uit Google moet, blokkeren in robots.txt in plaats van een noindex te gebruiken.
Te veel blokkeren
Uit voorzichtigheid hele delen van de site blokkeren die wel waarde hebben.
Instellen
Sitemap en robots.txt instellen in WordPress en webshops
WordPress
WordPress maakt zelf een eenvoudige sitemap. SEO-uitbreidingen maken een uitgebreidere versie, met de mogelijkheid om bepaalde soorten inhoud uit te sluiten. Een virtuele robots.txt wordt automatisch gemaakt en kan via de SEO-uitbreiding aangepast worden.
De instelling die zoekmachines weert
In de instellingen van WordPress staat een vakje om zoekmachines te ontmoedigen je site te indexeren. Het is handig tijdens de bouw, en desastreus als het na de lancering aan blijft staan. Controleer het.
WooCommerce
Producten en productcategorieën komen in de sitemap. Winkelmandje, afrekenen, accountpagina’s en filterpagina’s niet.
Shopify
Shopify maakt automatisch een sitemap en een robots.txt. Aanpassingen aan robots.txt zijn mogelijk, maar beperkt. Meer lees je bij SEO voor webshops.
Indexering
Sitemap, robots.txt en noindex: het verschil
Sitemap
Een uitnodiging: deze pagina’s wil ik graag in Google.
Robots.txt
Een verzoek: kom hier niet langs.
Noindex
Een instructie op de pagina: neem deze pagina niet op in de zoekresultaten.
Canoniek adres
Een aanwijzing: van deze bijna gelijke pagina’s is dit de echte.
Samen bepalen ze welke pagina’s Google ziet, bezoekt en toont. Ze moeten elkaar niet tegenspreken: een pagina in de sitemap die op noindex staat of geblokkeerd is in robots.txt, geeft Google tegenstrijdige signalen.
Crawlbudget
Hoe zoekmachines je site doorlopen
Zoekmachines gebruiken programma’s, crawlers of bots genoemd, die van link naar link gaan en pagina’s ophalen. Wat ze vinden, wordt verwerkt en eventueel opgenomen in de zoekindex. Pas dan kan een pagina in de resultaten verschijnen.
Ontdekken
Een crawler vindt nieuwe pagina’s via links op pagina’s die hij al kent, via links van andere sites en via je sitemap.
Ophalen
De crawler bezoekt het adres, leest eerst robots.txt, en haalt de pagina op als dat mag.
Verwerken en opnemen
De zoekmachine bekijkt de inhoud, de instellingen zoals noindex en canonieke adressen, en beslist of en hoe de pagina opgenomen wordt.
Crawlbudget
Een zoekmachine besteedt een beperkte hoeveelheid tijd aan elke site. Voor een kleine bedrijfssite speelt dat nauwelijks. Voor een webshop met tienduizenden filtercombinaties wel: als de crawler zijn tijd verspilt aan waardeloze pagina’s, worden nieuwe producten later gevonden. Een goede robots.txt, een schone sitemap en canonieke adressen helpen hem de juiste pagina’s te kiezen.
Voorbeeld
Een eenvoudige robots.txt, regel per regel
Een robots.txt voor een gewone bedrijfssite hoeft niet ingewikkeld te zijn. Een typisch bestand bevat een regel die zegt voor welke crawlers de regels gelden, meestal alle crawlers met een sterretje, een of meer regels die mappen uitsluiten zoals het beheerscherm, eventueel een regel die een onderdeel binnen die map toch toelaat, en onderaan het adres van de sitemap. Meer is voor de meeste sites niet nodig. Hoe langer en ingewikkelder het bestand, hoe groter de kans op een regel die per ongeluk iets belangrijks blokkeert. Laat wijzigingen controleren voor je ze live zet, en test na elke wijziging in Google Search Console of je belangrijke pagina’s nog bereikbaar zijn.
Nieuwe site
Checklist bij de lancering van een nieuwe site
- De instelling die zoekmachines tijdens de bouw weert, staat uit.
- Robots.txt blokkeert geen belangrijke pagina’s, stijlbestanden of scripts.
- De sitemap bevat de nieuwe adressen, met https en de juiste domeinvariant.
- De sitemap is ingediend in Google Search Console.
- Oude adressen leiden permanent om naar de nieuwe. Meer lees je in wat is een redirect.
- Pagina’s die niet in Google horen, zoals bedankpagina’s, staan op noindex.
- De belangrijkste pagina’s zijn via het menu of interne links bereikbaar.
Indexering
Waarom een pagina niet in Google staat, ook met een goede sitemap
Een sitemap is een uitnodiging, geen garantie. Google beslist zelf welke pagina’s het opneemt. In het indexeringsrapport van Search Console zie je per pagina de reden waarom ze ontbreekt. De meest voorkomende:
Gevonden, maar nog niet bezocht
Google kent het adres, maar heeft de pagina nog niet opgehaald. Bij een nieuwe site of pagina meestal een kwestie van geduld en tijd, bij oudere pagina’s soms een teken dat Google de site weinig prioriteit geeft.
Bezocht, maar niet opgenomen
Google heeft de pagina gelezen en besloot ze niet op te nemen, vaak omdat de inhoud dun is of sterk lijkt op andere pagina’s. Meer en betere inhoud is dan de oplossing.
Dubbele pagina
Google vond een andere versie die het als de echte beschouwt, en toont die in de plaats.
Uitgesloten door noindex of robots.txt
Een instelling op je site houdt de pagina buiten de resultaten. Soms bewust, soms per ongeluk. Controleer bij elke belangrijke pagina in deze lijst of het de bedoeling is, en pas de instelling aan als dat niet zo is.
Veelgestelde vragen
Veelgestelde vragen over sitemap en robots.txt
Wat is een sitemap?
Een lijst van de pagina’s van je website die je aan zoekmachines aanbiedt, zodat ze die vlot vinden.
Waar vind ik mijn sitemap?
Meestal op je domeinnaam gevolgd door /sitemap.xml of /sitemap_index.xml. Het adres staat vaak ook in je robots.txt.
Wat is robots.txt?
Een tekstbestand dat zoekmachines vertelt welke delen van je site ze niet hoeven te bezoeken.
Kan ik met robots.txt een pagina uit Google houden?
Niet betrouwbaar. Gebruik daarvoor een noindex-instelling op de pagina zelf.
Moet ik mijn sitemap indienen bij Google?
Het is niet verplicht, maar wel aan te raden via Google Search Console. Zo zie je ook of er fouten zijn.
Waarom staat mijn site niet in Google?
Controleer eerst of robots.txt of een noindex-instelling je site niet blokkeert. Dat is na een nieuwe site een veel voorkomende oorzaak.
Publi4U
Een technisch gezonde website
Bij een website van Publi4U staan sitemap, robots.txt en indexering vanaf de lancering correct ingesteld. Bij een doorlichting controleren we ze voor je bestaande site.