Cómo hacer que tu feed no aparezca en los resultados del buscador web de Google
Para impedir que los contenidos del feed de nuestro blog aparezca dentro de los resultados del
buscador web de Google y evitar por ejemplo una hipotética
penalización por contenido duplicado,
la mejor manera es utilizar un fichero 'robots.txt'
que impida que Googlebot lo rastree.
User-agent: Googlebot
Disallow: /nombre_del_feed
Así lo recomienda Vanessa Fox (una de las portavoces de Google en asuntos relacionados con el buscador web) en
los comentarios de
este post oficial. Hay
que recordar que, como mencionábamos en septiembre de 2005, el robot
que rastrea los feeds para 'Google Reader' no obedece
las directivas de 'robots.txt'.
Para generar el fichero 'robots.txt', y en caso de que tengamos varios feeds con diversos contenidos de nuestro blog,
siempre es recomendable utilizar
los comodines que soporta Googlebot.
En el citado post oficial también se recomienda utilizar
la etiqueta 'link' en las cabeceras
de las páginas web. Con ello nos aseguraremos, además de que muchos navegadores web lo detecten y avisen a los
lectores de su existencia, de que Google lo incluya en algunos de sus productos ('Google Reader' y la
página de inicio personalizada).
Puedes dejar un comentario sobre la noticia del post rellenando y enviando el siguiente formulario. Los campos marcados con asterisco (*) son obligatorios.
|
