Een spider (ook wel crawler of bot) is een automatisch programma dat zoekmachines gebruiken om het web te doorzoeken. De spider “kruipt” van pagina naar pagina via links, verzamelt informatie over de inhoud en stuurt die terug naar de zoekmachine, zodat deze kan bepalen welke pagina’s worden geïndexeerd en hoe ze moeten ranken.
Elke zoekmachine heeft zijn eigen spider. Bij Google heet die bijvoorbeeld Googlebot, bij Bing is het Bingbot.
Spiders lezen de HTML-code van een pagina en letten op elementen zoals:
- titels, koppen en teksten (voor context en relevantie);
- links (om nieuwe pagina’s te ontdekken);
- meta-tags en robots.txt (om te weten wat ze wel of niet mogen crawlen).