Robots.txt

Archivo de texto que se sitúa en el directorio raíz de un sitio web y se enlaza con el código html.
Permite al OMB (SEO) tener un control de las acciones de las arañas de los buscadores en el sitio e incluso denegarles el acceso.