El Robots.txt o protocolo de exclusión de robots, sirve para evitar que los robots de los motores de búsqueda sean capaces de analizar parte o la totalidad de las páginas de un sitio web. Esta orden funciona a modo de recomendación, por lo que algunos robots podrán hacer caso omiso de ello.
Esto puede tener diferentes utilidades:
- Se utiliza en ocasiones para hacer algunas secciones privadas, aunque los archivos de robots.txt están disponibles de forma pública por lo que cualquier persona con un navegador y conocimientos informáticos medios puede acceder a dicha información.