El valor de la gestión de datos

Big Data y Hadoop: el valor de los datos agrupados y clasificados

Posted on Fri, Jul 17, 2015

 datos agrupados

Como framework para el almacenamiento, la gestión y el análisis de grandes volúmenes de datos, Hadoop proporciona una plataforma de computación fiable y escalable. Diseñado para resolver problemas causados por cantidades masivas de datos complejos, estructurados y no estructurados, demuestra una eficiencia óptima a la hora de realizar análisis profundos que requieren técnicas de datos como la agrupación o la clasificación.

Frente a los sistemas de gestión de las bases de datos relacionales, inapropiados para responder a estos requerimientos, Hadoop es la alternativa más popular para solucionar a bajo coste muchos de los problemas relacionados con la extracción de valor de gran cantidad de datos NoSQL. En este sentido, su misión, básicamente, es concentrar datos de diferentes fuentes para luego procesarlos e interrelacionarlos con propósitos distintos.

La obtención de valor se vale de la minería de datos o data mining, mediante algoritmos que llevan a cabo tareas descriptivas, clasificaciones o predicciones. Lo hacen a partir de un modelo acorde con los datos y sus objetivos pueden ser desde una agrupación de datos según similitud o criterio determinado, clasificación entre un rango de categorías, agrupación de objetos similares en conjuntos o clases, análisis de secuencias, regresión, predicción o, por ejemplo, descubrir relaciones entre los objetos o sus atributos mediante la asociación.

 

Descárgate nuestra Guía sobre Big Data

 

Agrupación y clasificación en el ecosistema de Hadoop

Si bien el corazón de Hadoop se compone de dos tecnologías esenciales (Hadoop Distributed Files System, un sistema de gestión de archivos distribuido o HDFS y Map Redudce, un modelo de programación para gestionar procesos de computación distribuia) su rico ecosistema será el que nos permita encontrar soluciones a la medida.

Apache Hadoop trabaja con aplicaciones altamente distribuidas, es decir, con miles de nodos y petabytes de datos usando MapReduce para escribir algoritmos que ejecuten la tarea para la que fueron diseñados. De hecho, hay un gran número de algoritmos para el análisis, el agrupamiento, la clasificación o, por ejemplo, el filtrado de datos.

En lo que respecta a la agrupación de datos, Apache Mahout es una librería escalable de código abierto que implementa algoritmos de aprendizaje automático y minería de datos. En esta herramienta están los algoritmos más populares para llevar a cabo el agrupamiento (agrupación de vectores según criterios), clasificación y filtrado colaborativo, así como pruebas de regresion y modelos estadísticos. Permite ordenar grades volúmenes de datos para extraer información valiosa y se implementan usando MapReduce cuando se ejecutan sobre Hadoop. 

Avro permite compartir datos utilizando cualquier base de datos. Como sistema de serialización realiza la agrupación los datos junto con un esquema que nos permita entenderlo, mientras que el uso de Apache Pig para el análisis de los grandes datos, un último ejemplo, permite crear procesos para analizar flujos de datos y facilitar su agrupación, unión y agregación gracias al uso de operadores relacionales.

Fuente imagen: Toa55 / FreeDigitalPhotos.net

 

Post relacionados:

 

 

hadoop y el bigdata

Topics: Big Data