Googlebot; Robot Google

Robot utilizado por Google. Recolecta documentos de la red para construir un índice manejable de modo que el motor de búsqueda de Google pueda realizar búsquedas sobre él.

Si un administrador de un sitio web desea restringir la información a disposición de Googlebot, o cualquier otra araña de buen comportamiento, en su sitio web, lo puede hacer mediante las directivas adecuadas en un archivo robots.txt file.