El valor de la gestión de datos

Plan de análisis de datos en 5 pasos para mejorar data quality

Publicado el 17/10/16 21:00

La mayoría de las empresas entiende el valor que tiene establecer e institucionalizar un plan de análisis de datos que ayude a mejorar la calidad de los datos de la organización. Sin embargo, algunas empresas no incluyen esto en sus presupuestos y se limitan a hacer inversiones graduales en aspectos tales como la limpieza de datos y la corrección. Y esto puede hacer que surjan problemas.

plan_de_anlisis_de_datos.jpg

La ausencia de procesos integrales de aseguramiento y gestión de calidad de los datos conduce a esfuerzos replicados y aumento de costes, o lo que es peor, imposibilita la entrega de información coherente a la comunidad de usuarios de negocio de una organización.

Lo que se necesita es un enfoque práctico para alinear las actividades de calidad de datos dispares entre sí, creando un plan de análisis de datos organizado que aborde los desafíos de asegurar y mantener altos niveles de calidad.

Además de la necesidad de atraer sponsors internos que apoyen el proyecto, y el desarrollo de los argumentos necesarios para facilitar las inversiones en calidad de datos, vamos a ver una lista de cinco tareas y procedimientos que son fundamentales para una efectiva gestión de calidad de datos y que juntas componen un plan de análisis de datos efectivo para la mejora del data quality.

 

1. Documentar los requerimientos de calidad de datos y definir reglas para medir la calidad

En la mayoría de los casos, los niveles de calidad de datos están relacionados con la utilidad o idoneidad de la información para los propósitos que necesitan los directivos.

Comienza con la recopilación de requisitos: Involucra a estos usuarios decisores para obtener una comprensión de sus objetivos de negocio y pedir cuales son sus expectativas en cuanto a facilidad de uso de datos.

Esta información, combinada con las experiencias compartidas sobre el impacto en el negocio de los problemas de calidad de datos, se puede traducir en unas reglas que sirven para medir las dimensiones clave de la calidad, tales como la consistencia de los formatos de datos en los diferentes sistemas, integridad de datos, etc.

Como parte de este proceso, se debe crear un sistema central para documentar los requisitos y reglas asociadas que soportan el desarrollo de mecanismos de validación de datos.

 

2. Evaluar los datos nuevos para crear una base de referencia de calidad

Un proceso repetible para la evaluación estadística de la calidad de datos, nos ayuda a aumentar el conjunto de reglas para medir la calidad, chequeando los sistemas fuente para localizar posibles anomalías en la creación de datos nuevos.

Las herramientas estadísticas y de perfilado de datos pueden escanear los valores, las columnas y las relaciones en y entre los conjuntos de datos, utilizando frecuencia y análisis de asociación para evaluar los valores de datos, formatos y completitud, e identificar los valores atípicos que pueden indicar errores.

Además, las herramientas de perfilado pueden proporcionar información a los gestores de calidad de datos y de gobierno de datos, acerca de cosas tales como tipos de datos, estructura de las bases de datos relacionales y relaciones entre las claves primarias y externas en las bases de datos. Los resultados se pueden compartir con los directivos para ayudar en el desarrollo de las reglas de validación de calidad de datos que se incluyen en el plan de análisis de datos.

 

3. Implementar procesos de gestión de metadatos semánticos

A medida que el número y la variedad de fuentes de datos crece, aumenta la necesidad de limitar el riesgo de que los usuarios finales en diferentes partes de una organización malinterpreten el significado de términos de negocio comunes y otros conceptos de datos.

Es necesario centralizar la gestión de los metadatos relevantes para el negocio e involucrar a directivos y profesionales de la gestión de datos para colaborar en el establecimiento de normas corporativas de forma que se reduzcan las situaciones en las que interpretaciones inconsistentes conducen a problemas de uso de datos.

 

4. Comprobar la validez de datos de forma continua

Se deben desarrollar servicios automatizados que validen los registros de datos contra las normas de calidad que se han definido en nuestro plan de análisis de datos.

Una implementación estratégica permite que normas y mecanismos de validación sean compartidos mediante aplicaciones y despliegues en varios puntos del flujo de información de una organización de forma que se pueda hacer una inspección continua de datos y una medición de la calidad.

Los resultados se pueden introducir en una variedad de sistemas de información, por ejemplo, notificaciones y alertas directas enviados a los administradores de datos, para hacer frente a las anomalías y defectos de datos de alta prioridad, y paneles de control de calidad de datos y cuadros de mando con métricas agregadas para un público más amplio.

 

5. Mantente al tanto de los problemas de calidad de datos

Dentro del plan de análisis de datos debes incluir el desarrollo de una plataforma para el registro, seguimiento y gestión de incidencias de calidad de datos. Evaluar el cumplimiento de las normas de calidad de datos no dará lugar a mejoras a menos que existan procesos estándar para evaluar y eliminar las causas fundamentales de los errores en los datos. Un sistema de gestión de incidencias puede automatizar los procesos tales como la presentación de informes y dar prioridad a los problemas de calidad de datos, alertando a las partes interesadas, asignando tareas de mejora de calidad de datos y haciendo un seguimiento del progreso de los esfuerzos de corrección.

 

New Call-to-action

Temas: Data Quality