12.176 cursos gratis
8.739.430 alumnos
Facebook Twitter YouTube
Busca cursos gratis:

Posicionamiento en Buscadores

Autor: Montse Peñarroya
Curso:
9,86/10 (7 opiniones) |6286 alumnos|Fecha publicación: 26/10/2005

Capítulo 6:

 ¿Qué tengo que hacer si no quiero que una araña entre en mi página?

Te debes estar preguntando ¿por qué algunas webs no desean estar indexadas?. La respuesta es sencilla, todas aquellas páginas web cuyo modelo de negocio pasa por la venta de contenido (diarios online, archivos, venta de informes o de estudios, etc...) no desean que se pueda acceder de forma gratuita a su contenido, así que no permiten que las arañas indexen las zonas de su web donde está publicado el contenido de pago.

También hay gente que no desea que las arañas entren en sus páginas, para no sobrecargar sus servidores. En todo caso, en este capítulo te explicamos cómo hacer que las arañas no entren o que entren sólo en las zonas que tu deseas, sin tener que indicarlo en cada una de las páginas de tu web.

El Protocolo de Exclusión de Robots

Los webmaster tienen la posibilidad de no permitir el acceso a determinados Robots o no permitir la inspección de determinadas rutas de su página web. El método empleado para evitar la inspección de sus páginas por parte de los Robots, se estructura en dos ámbitos: por un lado, se facilita al Administrador del Web un mecanismo de exclusión de Robots y por otro, se proporciona al propietario de cada página HTML un mecanismo adicional de control del acceso a la misma por parte de los Robots.

El primer mecanismo se denomina "Protocolo de Exclusión de Robots", y permite al Administrador decidir qué partes del Web no deben ser indexadas. El medio para conseguirlo: un archivo de texto denominado ROBOTS.TXT que contiene las instrucciones sobre las páginas visitables y las que no permiten el acceso a los Robots.

El segundo mecanismo, que proporciona un nivel adicional de protección para el propietario de cada página, se logra mediante la inserción de unas etiquetas HTML denominadas META Tags (es decir: Etiquetas META) en las que se indica al Robot si debe o no inspeccionar o indexar cada página HTML individual. Si deseas más información acerca del META ROBOTS, la encontrarás aquí: Meta Robots

El fichero ROBOTS.TXT

El "Protocolo de Exclusión de Robots" se basa en la especificación del contenido de un fichero ROBOTS.TXT en el que se presentan las instrucciones de comportamiento oportunas para los Robots en relación con las páginas inspeccionables.

La razón de elegir un fichero como método de exclusión de páginas es que con sólo "bajarse" este fichero, el Robot conoce las páginas indexables de una página web y no tiene que visitarlas una por una para estar seguro de si puede indexarlas o no.

Cuando un robot o araña entra por primera vez en una página web, lo primero que visita es la url: www.nombredelapágina.com/robots.txt Si allí no encuentra ninguna instrucción que le impida navegar por la web, entonces empezará el escaneo. Si el administrador de la web ha incluido en esa página alguna instrucción que le afecta, se irá de la página y no escaneará su contenido.

Nosotros recomendamos crear siempre la página robots.txt, aunque desees que los robots entren siempre en tus páginas. Si no la creas, cada vez que un robot la busque generará un error 404 en tu servidor (404: Page not found) y en tus estadísticas te apareceran cientos de estos errores al día. Si creas la página y la dejas en blanco evitarás estos errores.
Si deseas más información acerca del Protocolo de Exclusión de Robots, la encontrarás aquí: Protocolo de Exclusión de Robots.

Algunos ejemplos de páginas robots.txt:

http://www.noticias.com/robots.txt (en blanco. En el próximo capítulo descubrirás porqué los webmaster de Noticias.com han creado una página en blanco)

http://www.mailxmail.com/robots.txt (filtrando ciertos directorios)

http://www.whitehouse.gov/robots.txt (filtrando una enorme lista de directorios)

Nuestras novedades en tu e-mail

Escribe tu e-mail:



MailxMail tratará tus datos para realizar acciones promocionales (vía email y/o teléfono).
En la política de privacidad conocerás tu derechos y gestionarás la baja.

Cursos similares a Posicionamiento en Buscadores



  • Vídeo
  • Alumnos
  • Valoración
  • Cursos
1. Posicionamiento Web
El posicionamiento en los buscadores es un factor clave para una empresa. El 75% de... [30/05/08]
1.150  
2. Posicionamiento de páginas web. Palabras claves
Bienvenidos a un nuevo vídeo tutorial en el cual la experta nos expone información... [22/12/11]
10
Curso con video
3. Posicionamiento ante la muerte
Este curso expone el posicionamiento de la autora, Maria Perez, sobre la muerte, un... [25/02/09]
388  

¿Qué es mailxmail.com?|ISSN: 1699-4914|Ayuda
Publicidad|Condiciones legales de mailxmail