Zoekmachine: Hoe Robots en Spiders dirigeren?

Webpagina's bezoeken en doorlinken naar andere webpagina's

Dit wordt een "deep crawl" genoemd, en alle bezochte pagina's kunnen toegevoegd worden aan de index van de zoekmachine. Er kunnen echter, om wat voor reden dan ook, delen van uw site zijn die u niet geïndexeerd wilt hebben of tevoorschijn wilt zien komen ten gevolge van een zoekopdracht.

Een veel voorkomend voorbeeld is wanneer een reeks pagina's in een bepaalde volgorde bekeken moet worden. In dat geval zou u willen dat de robot alleen de eerste pagina indexeert. Voor dit doel is er de Robots Meta Tag. Gelijk aan de andere Meta Tags wordt de Robots Meta Tag geplaatst binnen de Head tags van uw document.

Functie van Robots Meta Tag

De Robots Meta Tag heeft een specifieke functie: Hij vertelt de spiders welke pagina's geïndexeerd moeten worden, welke pagina's niet geïndexeerd moeten worden, welke links gevolgd moeten worden, en welke links niet gevolgd moeten worden.

Dit kan het beste uitgelegd worden door de volgende voorbeelden te beschouwen: In het eerste voorbeeld wordt de spider geïnstrueerd de bezochte pagina te indexeren en alle links te volgen. In het tweede voorbeeld wordt de spider geïnstrueerd de bezochte pagina niet te indexeren maar wel alle links te volgen, enzovoort. Merk op dat er geen reden is om ooit de "index,follow" instructie op te nemen in een pagina. Dit zal de robot vanzelf doen wanneer er niets gespecificeerd is. De tag kan erg bruikbaar zijn en wint aan belang. Het is bijvoorbeeld de enige meta tag die Lycos leest. Helaas wordt hij nog steeds niet breed ondersteund door zoekmachines.