Una vez tenemos a las arañas en nuestra home... Debemos asegurarnos de que puede navegar por todas nuestras páginas para que el buscador que las ha enviado pueda indexarnos bien.

Para poder indexar una página web, las arañas deber ver los enlaces que llevan al interior de la página. Estos enlaces deben ser de una determinada manera para que las arañas comprendan que son enlaces que deben visitar.

Las arañas no pueden pasar a través de enlaces que estén:

- Escritos en Javascript: Cuando en una página web, un enlace está escrito en Javascript, en lugar de HTML, las arañas no lo reconocen como tal y no pasan a través suyo. Todas las páginas a las que se llega pulsando sobre ese enlace se quedarán sin escanear.

- Incluidos en una presentación Flash: Los enlaces dentro de un archivo Flash no con detectados por las arañas. Si una página web está enteramente programada en flash no se indexa en los buscadores. Los buscadores sólo podrán leer alguna parte de la home, pero no el resto de la página, a menos que se incluya un mapa del site escrito en HTML, fuera de la presentación Flash.

- Dentro de Pop Up's: Para crear una pop up se utiliza un comando escrito en JavaScript... así que el contenido que se incluya dentro de estas pequeñas ventanas no será visible para una araña.

- Enlaces en botones: algunas arañas no leen los botones de programación que utilizan algunas páginas web. Botones del tipo "ver más" o "sigue leyendo", si están escritos de forma que no son en HTML, no son reconocidos por las arañas, y por lo tanto, pasan de largo sin visitar y escanear el interior de esos enlaces.

- Detrás de un Login y password: Las arañas no pueden pasar a través de páginas que requieren de un login y una contraseña para entrar en su interior. Si sólo muestras tu catálogo de productos después de que el usuario se haya registrado, el catálogo también quedará fuera del alcance de las arañas y cuando alguien te busque en Google no encontrará tus productos.

Glosario:
- JavaScript: lenguaje de comandos multiplataforma del WWW desarrollado por Netscape Communications para su navegador Netscape Navigator 2.0 (Sept. 1995) fue el primer lenguaje para soportar páginas web dinámicas.

El código de JavaScript se inserta directamente en una página HTML.

Para más información acerca de JavaScript, leer definición en la Wikipedia: JavaScript

- Flash: software de Macromedia para crear pequeñas animaciones vectoriales reproducidas en la Web. El navegador de un usuario necesita el plug-in Flash Player para interpretar las animaciones Flash.

Las animaciones Flash están almacenadas en pequeños archivos que se desacargan junto con la página web en la que están alojados.

Las arañas de los buscadores no pueden leer el contenido del interior de los ficheros Flash, por lo que cualquier palabra, frase o enlace que aparezca dentro de uno de estos archivos, no podrá ser indexada en un buscador.

Para más información acerca de Macromedia Flash, ver definición en la Wikipedia: Macromedia Flash

- Pop up: pequeña ventana que se abre sobre la ventana existente, al pulsar sobre un enlace en una página web.

Solía ser un formato muy utilizado para la publicidad antes de que los navegadores y las barras de navegación incluyeran pop-up killers (aplicaciones que desactivan las pop ups).

A nivel de programación, para crear una pop up es necesario escribir un comando en JavaScript, por lo que las arañas de los buscadores no reconocen los enlaces que se abren hacia una pop up. Cualquier contenido que esté dentro de una pop up quedará excluido de los buscadores.

Para más información acerca de las Pop up's, ver definición en la Wikipedia: Pop up