Más sobre la tecnología de agrupamiento
Jeff Dean es uno de los más ingenieros más
conocidos que hay en Google, y uno de los que mejor conocen los entresijos
de la arquitectura del clúster
de servidores de este buscador.
Ayer dio una conferencia en la Universidad of Washington, en la que
departió sobre todo el hardware que hace posible cada búsqueda en Google, y
a ella asistió Greg Linden, que nos hace
un breve resumen
en
su blog.
Así, Jeff hizo una pequeña demostración de la capacidad que tiene este clúster
de servidores para encontrar términos relacionados con una determinada palabra
de búsqueda, de una manera parecida a lo que ya hace el buscador
Clusty. Por ejemplo, Jeff buscó
'rolling hash' (marihuana para liar), y encontró palabras relacionadas con el hachís.
Pero buscó 'rolling hash function' y logró palabras relacionadas con la
función 'hash MD5' de transformación de cadenas.
Se aseguró que, gracias a la inmensa cantidad de información disponible en
los servidores de Google (miles de millones de páginas web) y gracias a la potencia
computacional (miles de servidores Linux), el buscador es capaz de mejorar con
esta tecnología de agrupamiento el algoritmo que ordena la relevancia de los
resultados.
También habló Jeff sobre 'MapReduce', un modelo personalizado de programación
que se utiliza en Google para el rápido desarrollo de robustas aplicaciones
en paralelo.
En la misma conferencia se desveló que Google ha abierto va a abrir
una sede
en Kirkland, cerca de Seattle (EEUU), y justo al lado de las oficinas
que tiene Microsoft.
Más información sobre la tecnología de Google:
:: MapReduce (documento PDF)
:: Google Cluster Architecture (documento PDF)
:: Google File System (documento PDF)
:: Coloquio de Jeff Dean (incluye vídeo de la conferencia)
:: Conferencia de Peter Norvig (hace un par de semanas)
Publicado el 22 de octubre de 2004 | Categoría: tecnologia
|
