Wat doen bots op je website?

Wat doen bots op je website?

Bots (afkorting van robots) zijn geautomatiseerde programma’s die zelfstandig taken uitvoeren op het internet. In de context van SEO bedoelen we meestal zoekmachinebots, zoals Googlebot, die websites doorzoeken, analyseren en indexeren.

Deze bots volgen links van pagina naar pagina, lezen de inhoud en slaan die informatie op in de zoekindex van Google. Op basis daarvan bepaalt het algoritme later welke pagina’s worden getoond bij een zoekopdracht.

Niet alle bots zijn vriendelijk. Er bestaan ook scraperbots (die content kopiëren), spam bots (die reacties of links plaatsen) en monitoring bots (die data verzamelen voor tools of concurrentieonderzoek).

Voorbeeld:

Wanneer Googlebot jouw site bezoekt, bekijkt hij bijvoorbeeld:

  • of je pagina goed toegankelijk is
  • wat de content zegt
  • of er interne links zijn naar andere pagina’s

Zo bepaalt Google hoe jouw site moet worden opgenomen in de zoekresultaten.
Een goed ingestelde robots.txt kan vervolgens aangeven welke delen van je site wél of juist niet gecrawld mogen worden.