Cómo descubrir a robots falsos que se hacen pasar por Googlebot
vez abundan más en la WWW los robots realizados por spammers, cuyo objetivo es rastrear
los datos de las páginas web para obtener por ejemplo las direcciones de email que aparecen. O también
para copiar sus contenidos, y construir sitios de manera rápida y automatizada, que posteriormente podrán
posicionar dentro de los buscadores.
Muchos de estos robots, ante el miedo de que los webmasters les prohíban el acceso, se autodenominan
"Googlebot", itentando hacerse pasar por el robot de Google. Para
intentar descubrirlos, en este
post oficial nos aconsejan utilizar primero un 'reverse DNS lookup' con la dirección IP de esta visita, y
después un 'forward DNS->IP lookup'.
El primero ('reverse DNS lookup') convierte una dirección IP en el nombre de una máquina (por ejemplo,
'66.249.66.1' es 'crawl-66-249-66-1.googlebot.com').
Podríamos pensar que esto ya demostraría que se trata
del robot de Googler, pero este nombre se puede modificar por el creador del robot, así que deberíamos hacer
un 'forward DNS->IP lookup' para convertir el nombre de la máquina en una dirección IP. Como está sujeta a un
dominio de Internet, si es auténtica nos deberá devolver
la dirección IP original.
Sin embargo, los spammers tienen otras maneras de denominar a los robots, y muchas veces bautizan
a éstos con los 'user agents' de populares navegadores, para pasar inadvertidos.
Publicado el 26 de septiembre de 2006 | Categoría: trucos
Puedes dejar un comentario sobre la noticia del post rellenando y enviando el siguiente formulario. Los campos marcados con asterisco (*) son obligatorios.
|
