BigTable: el sistema de almacenamiento de Google
El ingeniero Jeff Dean, uno de los
máximos responsables de la infraestructura de sistemas de Google, ofreció ayer una interesante charla en
Seattle (Universidad del Estado de Washington) sobre BigTable, el sistema que tiene la compañía para almacenar enormes cantidades
de información de una forma semi-estructurada.
Andrew Hitchcock asistió al evento, y en su blog nos cuenta
algunas cosas que allí se comentaron:
:: BigTable comenzó a ser desarrollado a principios de 2004, y ha estado utilizándose
en producción desde febrero de este año.
:: Siguiendo la filosofía Google, se trata de una tecnología desarrollada dentro de la propia
compañía, que funciona sobre 'commodity hardware' (sencillos y baratos PCs con procesadores Intel), y que funciona
sobre otras herramientas propias, como MapReduce o
'Google File System'.
:: BigTable almacena la información en tablas multidimensionales cuyas celdas están, en
su mayoría, sin utilizar. Además, estas celdas disponen de versiones temporales de sus valores, con lo que se puede hacer
un seguimiento de los valores que han tomado históricamente.
:: En los ejemplos de Dean, en las filas de las tablas había URLs, y en las columnas términos
como "contenidos" (con los datos HTML del documento web), "idioma" (con textos como "EN", referente a 'English'),
o "anchor:dominio.com/pagina" (que contiene el texto del enlace a la URL de cada fila desde la página web 'dominio.com/pagina').
:: Para poder manejar tal cantidad de información, las tablas se dividen por columnas, y son
almacenadas como 'tabletas' de unos 100-200 Mbytes cada una. Cada máquina almacena 100 tabletas, mediante
el sistema 'Google File System'.
:: La disposición permite un eficiente sistema de balanceo de carga (si una tableta está recibiendo
un montón de peticiones, la máquina puede desprenderse del resto de las tabletas o trasladar la tableta en cuestión
a otra máquina) y una rápida recomposición del sistema si una máquina 'se cae'.
Suponemos que en unos días, estará disponible el vídeo con la charla en
esta página web.
Mientras tanto, también podéis echar un vistazo a otra
intersante conferencia
ofrecida por Dean el año pasado, en la que explicaba la infraestructura tecnológica de Google.
Publicado el 19 de octubre de 2005 | Categoría: tecnologia
Puedes dejar un comentario sobre la noticia del post rellenando y enviando el siguiente formulario. Los campos marcados con asterisco (*) son obligatorios.
|
