Crawlen is het proces waarbij zoekmachines zoals Google je website automatisch doorzoeken met behulp van zogeheten bots (zoals Googlebot). Deze bots volgen links van pagina naar pagina, lezen de inhoud en verzamelen informatie om te bepalen wat er moet worden opgenomen in de zoekindex.
Crawlen is de eerste stap in het hele SEO-proces:
- Google ontdekt je pagina (via een link of sitemap).
- De bot crawlt de pagina (leest de code en inhoud).
- De pagina wordt vervolgens geïndexeerd als alles goed toegankelijk en relevant is.
Als Google een pagina niet kan crawlen, kan hij die ook niet indexeren, en verschijnt hij dus niet in de zoekresultaten.