Google crea Mesa, un nuevo data warehouse súper rápido

Los ingenieros de Google han dado a conocer su gran invento en sistemas de almacenamiento y análisis de datos de arquitectura distribuida, bautizado con el nombre de Mesa. Según explican en un artículo publicado a modo de presentación, el sistema data warehousing creado por el gigante de internet se ejecuta a través de centros de datos y está diseñado para ser veloz, escalable y de gran fiabilidad.

En efecto, Mesa ingiere millones de filas en cuestión de minutos y es resilente en caso de problemas o tolerante a errores, pudiendo sobrevivir a un fallo del centro de datos. Es decir, sabría mantener el rendimiento en caso de que un centro de datos quedase sin conexión.

También permite una gestión con geo replicación. En palabras de los científicos de la compañía de Montain View, Mesa es ultra rápido y está concebido para responder a la indexación e integración de datos en tiempo real:

"Mesa asume petabytes de datos, procesa millones de actualizaciones de filas por segundo, y sirve miles de millones de consultas que recuperan billones de filas por día y es a prueba de fallos, ya que geo replica a través de múltiples centros de datos", detallan en el documento, el aperitivo de su presentación oficial, prevista en la conferencia Very Large Database, que se celebrará en China este mes de septiembre.

Una tecnología que llena un vacío tecnológico

¿Pero, por qué crearlo? El artículo también responde cumplidamente a esta pregunta. Partamos de que su nacimiento no se entiende sin tener en cuenta el núcleo de negocio de Google: la publicidad en la red. De hecho, Mesa nació para atender tanto a sus clientes de publicidad -a través de un servicio de consulta de front-end- como para satisfacer necesidades internas mediante la recopilación de información sobre un anuncio determinado, registrando y  procesando esos datos en real time.

Mesa es un sistema de datawarehouse con funciones analíticas a gran escala que recopila información de Adsense, detalla el documento. Pero, a su vez, puede ser útil como un sistema de almacenamiento de datos genéricos a gran escala, pues se ejecuta en la infraestructura cloud de Google que resulta mucho más factible que el hardware de servidor de clase empresarial en el que corrió su sistema predecesor.

Básicamente, Mesa viene a llenar un vacío tecnológico, detalla el documento. En concreto, los científicos señalan que Big Table, Megastore, Spanner y F1 no eran la tecnología adecuada para satisfacer los requerimientos que soportan las aplicaciones de Mesa. Entre otras cosas, por ejemplo, aunque el procesamiento de transacciones en línea de Megastore,  Spanner y F1 proporcionan una gran consistencia a través de los datos geo replicados, no pueden ofrecer el rendimiento que necesitan los clientes de Mesa en cuanto a actualizaciones. Big Table, por su parte, tampoco proporciona la atomicidad necesaria.

Del mismo modo, se descartan otros sistemas de bases de datos, como los construidos por Facebook o Twitter, diseñados para una mayor carga de datos. Igualmente, es sustancialmente distinto de Dremel, la base de su servicio BigQuery, tecnología iniciada también por Google.

Más allá de ser un simple sistema de almacenamiento de datos, el futuro podría depararle algún tipo de colaboración con la comunidad opensource de Hadoop, sobre todo mediante una hipotética versión de código abierto de Mesa. La sinergia de ambas tecnologías abre nuevas expectativas, y lo mismo cabría decir de la computación en la nube, especialmente si se llegar a ofrecer como servicio diferenciador, frente a sus competidores Amazon Web Services y Microsoft Azure. Y, por supuesto, Mesa podría popularizarse y proliferar como centros de datos de todo el mundo. Como en casi todo, el tiempo tiene la última palabra.

Fuente imagen: ddpavumba / FreeDigitalPhotos.net

Post relacionados:

• Software para afrontar el reto de Big Data
  

• ¿La nube y el Big Data son incompatibles?

• Internet de las cosas crecerá imparable y ofrecerá millones de empleos