Crawler; Rastreador

También conocido como "bot", robot, o "spider" (araña). Las "spiders" son programas utilizados por los motores de búsqueda para explorar la World Wide Web de forma automatizada y descargar el contenido HTML (sin incluir gráficos) desde otro sitio, desnudándolo de todo que se considere superfluo o redundante y que no sea HTML y almacena el resto en una base de datos, su índice.

Se usan principalmente para crear una copia de todas las páginas visitadas para su procesamiento posterior por un motor de búsqueda que indexará el contenido descargado para facilitar búsquedas más rápidas.

Se utilizan también para tareas de mantenimiento automatizado de un sitio web tales como comprobar enlaces o validar código HTML. Incluso pueden emplearse para reunir tipos específicos de información procedente de páginas web, como es el caso de cosechar direcciones de correo electrónico para enviar correos basura.

Un rastreador de la web es un tipo de robot, o agente informático. En general, comienza con un listado de URLs para visitar, Según visita estas URLs, identifica todos los hiperenlaces existentes en la página y los añade a la lista de URLs a visitar, de forma recursiva examinando la web de acuerdo con un conjunto de políticas establecidas.

Cuando una araña indexa un sitio web particular, esto se conoce como ser picado.