Hoy en día siguen proliferando organizaciones donde se hace un uso intensivo de los datos. Se trata de entornos donde existen múltiples fuentes de datos que hacen que sea difícil manejar información relacionada. Clientes, productos, proveedores, finanzas y otras muchas entidades similares tienen sus datos repartidos por una gran variedad de fuentes de datos.

Master Data Management, más conocido como MDM, es fundamental para asegurar la limpieza, estandarización, matching e integración que rige estos activos de la empresa. Asegurar que los datos permanecen sin corrupción, actualizados y ofreciendo una "única versión de la verdad" es fundamental. Al mismo tiempo, todo lo relacionado con MDM podría verse obstaculizado por cantidades siempre crecientes de big data. Petabytes e incluso exabytes, que se originan de diferentes fuentes y que incluyen formatos de datos semi-estructuradas e incluso no estructuradas.

Si bien Big Data está siempre en la mente de todos los CIO, ésta presenta desafíos muy diferentes si lo comparamos con MDM. Comprender y comparar las características de MDM y Big Data y determinar cómo cada uno puede informar y mejorar al otro, puede dar lugar a ideas más frescas, más profundas y a más acciones concretas que pueden llevarse a cabo para impulsar las estrategias adecuadas, mejorar la toma de decisiones y descubrir nuevas ventajas competitivas.

Comparando MDM y Big Data

Objetivos

• MDM: Proporciona una única versión de la verdad para todos los datos maestros, mejora la calidad de los datos, informes, cuadros de mando y análisis, y automatiza la calidad de los datos y la conciliación utilizando las herramientas y procesos adecuados.

• Big Data: Son efímeros por naturaleza y desechables si no son útiles. Es capaz de descubrir constantemente nuevos comportamientos y puntos de vista. Permite una rápida incorporación de datos (de offline a online).

Volúmen

• MDM: Relativamente bajo a medio volumen de datos.

• Big Data: Muy alto volumen de datos.

Tipos de datos

• MDM: Información sobre clientes, productos, proveedores, etc.

• Big Data: Información relacionada con clientes, productos y proveedores, pero además publicaciones en redes sociales, información de salud, flujos de datos, etc.

Principales fuentes de datos

• MDM: Datos estructurados internos y externos.

• Big Data: Datos internos y externos que están estructurado, semi-estructurados y no estructurados.

Consumo

• MDM: Sobre todo operacional, con algún grado de análisis.

• Big Data: Analítico y predictivo; incluyendo data mining y discovery.

MDM funciona mejor con volúmenes relativamente bajos de datos, tal vez incluyendo datos de clientes, productos y áreas geográficas, mientras que Big Data opera en un universo mucho más amplio y diferente. Acumula información constantemente y sin descanso, descubriendo constantemente nuevos comportamientos y percepciones.

Tal vez te interese leer: 
MDM: ventajas de la organización por producto

Conceptos clave para una buena integración de ambos

Las organizaciones pueden beneficiarse enormemente de una combinación de MDM que es alimentado por la capacidad de predicción y análisis de Big Data. Son varias las áreas clave donde Big Data puede claramente complementar y mejorar los procesos de MDM. Si nos centraremos en lo referente a almacenamiento de datos, integración de datos, análisis de datos y seguridad de los datos podemos ver lo siguiente:

Almacenamiento de datos

MDM emplea un hub para varios dominios de datos, ya sean bases de datos de clientes, productos, ubicaciones de los clientes, u otros tipos de segmentos de datos. Big Data contiene grandes volúmenes de datos estructurados y no estructurados que fluyen desde blogs, redes sociales, eventos en vivo de streaming, datos de máquina, telemetría y más. Vinculando algoritmos y API’s del sistema desde MDM a una plataforma de Big Data se puede permitir que los datos de los dos residan en un lugar en el que puedan apoyarse mutuamente.

Integración de datos

MDM mantiene una copia de un registro de datos maestros que debe estar permanentemente informado por los datos relevantes de la plataforma de Big Data. El hub de MDM debe tener la capacidad de integrarse con Big Data, utilizando identificadores para retener lo que es útil y desechar lo que no lo es. Mientras tanto, Big Data debe utilizar procesamiento en paralelo, rápido y masivo para facilitar discovery, matching y links de registros de datos maestros.

Aquí, Big Data tiene la capacidad de complementar y enriquecer MDM. Datos semiestructuradas y no estructuradas pueden ser analizados de una gran variedad de formas, utilizando diferentes tecnologías semánticos, de virtualización, etc.

Análisis de Datos

Ser capaz de encontrar los datos apropiados cuando es necesario es la clave. MDM utiliza sus propios índices para permitir búsquedas más rápidas. Podría linkarse un hub de Big Data con el hub de MDM para permitir capacidad de búsqueda en tiempo real. De nuevo, las API de MDM pueden combinar las capacidades de búsqueda a través de ambos hubs para consolidar e integrar los resultados. Al mismo tiempo, las API de Big Data pueden realizar sus propias búsquedas y unirse con las de MDM.

Seguridad de datos

La ciberseguridad es una preocupación común a todas las empresas. MDM está encriptado y trabaja de acuerdo con las directrices de política de protección de datos, y la información procedente de Big Data también proporcionará exactitud con seguridad, siempre que el conjunto de atributos confidenciales a los que accede esté encriptados y enmascarados. La integración de MDM y Big Data cubre por tanto la seguridad de datos.