ROBOTS.TXT TUTORIAL BASICO PARA SEO

El Robots.txt o protocolo de exclusión de robots, sirve para evitar que los robots de los motores de búsqueda sean capaces de analizar parte o la totalidad de las páginas de un sitio web. Esta orden funciona a modo de recomendación, por lo que algunos robots podrán hacer caso omiso de ello.

Esto puede tener diferentes utilidades:

  • Se utiliza en ocasiones para hacer algunas secciones privadas, aunque los archivos de robots.txt están disponibles de forma pública por lo que cualquier persona con un navegador y conocimientos informáticos medios puede acceder a dicha información.

Lee el resto de esta entrada »

Anuncios