Zoekmachine: Hoe Robots en Spiders dirigeren?

Veel van de spiders (ook wel robots of crawlers genoemd) die een pagina van uw site bezoeken zullen de links volgen naar andere delen van uw site en die gelinkte pagina's indexeren.

  • Zoekmachine: Hoe Robots en Spiders dirigeren?

Wat klanten te vertellen hebben over webdesigner Publi4u uit Kortrijk

Donald DoornaertDetagroup getuigt over de samenwerking
Ik kreeg duidelijke antwoorden op mijn vragen en voelde algauw dat er geen loze beloftes gedaan werden.
Greet Gevaert uit Kortrijk getuigt
Greet GevaertGreet Gevaert uit Kortrijk getuigt
Ik ervaar de samenwerking als heel goed, er is een snelle opvolging bij de vragen die ik heb en ik krijg alle hulp die ik nodig heb
Dranken Pauwels aan het woord
Dominique VanderstraetenDranken Pauwels aan het woord
Hun passie en overtuiging tot het welslagen van de doelstelling waren de grootste redenen om met hen in zee te gaan.
Auto Center Harelbeke praat over onze samenwerking
Christ DerieAuto Center Harelbeke praat over onze samenwerking
We hadden slechts 1 afspraak nodig vooraleer ze bij Publi4U aan de slag gingen. Het eerste ontwerp was meteen raak! Een bewijs dat ze weten waar ze mee bezig zijn.

Webpagina's bezoeken en doorlinken naar andere webpagina's

Dit wordt een "deep crawl" genoemd, en alle bezochte pagina's kunnen toegevoegd worden aan de index van de zoekmachine. Er kunnen echter, om wat voor reden dan ook, delen van uw site zijn die u niet geïndexeerd wilt hebben of tevoorschijn wilt zien komen ten gevolge van een zoekopdracht.

Een veel voorkomend voorbeeld is wanneer een reeks pagina's in een bepaalde volgorde bekeken moet worden. In dat geval zou u willen dat de robot alleen de eerste pagina indexeert. Voor dit doel is er de Robots Meta Tag. Gelijk aan de andere Meta Tags wordt de Robots Meta Tag geplaatst binnen de Head tags van uw document.

Functie van Robots Meta Tag

De Robots Meta Tag heeft een specifieke functie: Hij vertelt de spiders welke pagina's geïndexeerd moeten worden, welke pagina's niet geïndexeerd moeten worden, welke links gevolgd moeten worden, en welke links niet gevolgd moeten worden.

Dit kan het beste uitgelegd worden door de volgende voorbeelden te beschouwen: In het eerste voorbeeld wordt de spider geïnstrueerd de bezochte pagina te indexeren en alle links te volgen. In het tweede voorbeeld wordt de spider geïnstrueerd de bezochte pagina niet te indexeren maar wel alle links te volgen, enzovoort. Merk op dat er geen reden is om ooit de "index,follow" instructie op te nemen in een pagina. Dit zal de robot vanzelf doen wanneer er niets gespecificeerd is. De tag kan erg bruikbaar zijn en wint aan belang. Het is bijvoorbeeld de enige meta tag die Lycos leest. Helaas wordt hij nog steeds niet breed ondersteund door zoekmachines.