Google ofrece más flexibilidad en 'robots.txt'
El estándar 'robots.txt'
(creado en 1994) establece una norma para que cualquiera que diseñe un robot de
rastreo de datos en la WWW sepa de qué páginas web no puede extraer su información
a petición del webmaster.
En 'seobook.com' nos
recuerdan que Google añadió,
hace unos años, la opción de utilizar
dentro del fichero robots.txt 'comodines' (símbolos '*') para indicar con mayor
flexibilidad los nombres de los ficheros que no queremos que sean rastreados por su robot.
Tal y como se indica en este
enlace, si implementamos lo siguiente le diremos a Googlebot que no indexe
cualquier fichero cuyo nombre incluya '.gif':
User-agent: Googlebot
Disallow: /*.gif
Publicado el 08 de noviembre de 2005 | Categoría: trucos
|
|
