Entendiendo lo que es Data Lineage

Para confiar en el Big Data es necesario comprender su Data Lineage. Sin Data Lineage, el Big Data pasa a ser sólo como la última frase del juego del teléfono roto. Los datos originales van cambiando a lo largo del camino para pasar a ser algo completamente diferente cuando llegan al final. Y muy pocos entienden cómo llegaron a convertirse en algo tan distinto a la versión original.

liuzishan

Más del noventa por ciento de los datos que hoy en día hay en el mundo se han creado en los últimos años. Esta explosión de datos es el resultado del número cada vez mayor de sistemas y automatización en todos los niveles en todos los tamaños de organizaciones. Si bien esta información facilita el acceso a la información en el mundo laboral, también ha contribuido a crear una nueva serie de problemas.

¿Qué es Data Lineage?

Data Lineage describe el origen, movimientos, características y calidad de los datos. Podría decirse que Data Lineage ha descrito típicamente dónde comienza cada dato y cómo se transforma hasta lograr resultados en diferentes proyectos empresariales.

El linaje del dato podría compararse con un mapa de tablas y uniones, que permite guiar qué SQL usar para seleccionar, resumir o agrupar los datos. Aunque éste es un enfoque muy tradicional que, hoy día, no resulta suficiente para explicar el alcance de Data Lineage.

De hecho, al aplicar solo el enfoque tradicional al linaje de datos se encuentran bloqueos, especialmente en lo concerniente a los datos maestros, como la información sobre personas, procesos y elementos que forman el núcleo del negocio.

Para obtener una visión más realista y un linaje más significativo es preciso incluir aspectos adicionales del Data Lineage, como quién usa cada dato, qué significa, cuándo se accede a la información, por qué se almacenan los datos y cómo se relacionan los elementos de datos. Contar con esta perspectiva más completa ayuda a mitigar obstáculos en los proyectos de datos, acortando el marco de tiempo para el desarrollo y las pruebas.

Entre las dimensiones de Data Lineage que no deberían faltar se encuentran:

• Quién
• Qué
• Dónde
• Por qué
• Cómo

¿Por qué mantener un seguimiento del linaje de datos?

El linaje de datos está asociado a numerosos beneficios para el negocio, entre los que se incluyen los siguientes:

• Un gobierno de datos más eficaz. Data Governance requiere Metadata Management. Se trata de algo necesario para garantizar que Big Data cumpla con los estándares de negocio. Una solución de linaje de datos une los metadatos y proporciona comprensión y validación del uso óptimo de los datos y los riesgos de la información que necesitan ser mitigados.
• Una mayor capacidad de cumplimiento. Data Lineage proporciona pruebas de que los informes reflejan adecuadamente los datos, algo imprescindible para permitir que, desde los usuarios de negocio, a los clientes o auditores puedan confiar en los datos informados al tiempo que la organización responde rápidamente a las oportunidades que se presentan y hace frente a desafíos regulatorios.
• Un impulso a la calidad de datos. Los desafíos para la calidad de los datos incluyen el movimiento de datos, la transformación, la interpretación y la selección a través de personas y procesos. La presión por demostrar de manera confiable el origen y la transformación de los datos a través de la organización sólo puede ser gestionada mediante una solución de Data Lineage, que aporta visibilidad de extremo a extremo.