Crawlen is een term die wordt gebruikt om het proces te beschrijven van een bot-, script- of softwareprogramma dat een webpagina bezoekt en de inhoud en links op die pagina grijpt. Eenmaal voltooid, bezoekt het programma de volgende link in de lijst of een van de links verkregen van de webpagina die het net bezocht heeft.

Internetvoorwaarden, Metacrawler, Zoekmachine, Spider