Es requisito fundamental para la optimización de un sitio web y la búsqueda de enlaces que aumenten la importancia del mismo, que todas las páginas del sitio web estén indexadas en los motores de búsqueda.
Las arañas de los buscadores rastrearán la página que se añada a su índice en busca de enlaces que lleven a otras páginas web (del propio sitio web o externas), de esta forma, la araña del buscador indexará todas las páginas web del sitio si todas están bien conectadas entre ellas, no presentan errores en sus enlaces o links rotos, y en un lenguaje informático que sean capaces de entender.
No siempre es el caso, y como vía alternativa para asegurar la indexación de todas las páginas del sitio web, existen los “Sitemap.xml”.