El valor de la gestión de datos

6 pasos para solucionar problemas de Bad Data que te cuestan dinero

Posted on Thu, Apr 6, 2017

Una gestión inadecuada de los datos puede costar mucho dinero. Desde multas de la administración hasta gastos extraordinarios para conseguir tener información precisa para tomar decisiones críticas de negocio, e incluso puede ser necesario incurrir en gastos para conseguir limpiar una mala imagen debida a un error basado en datos.

La mayoría de las organizaciones tienden a manejar la calidad de los datos de una manera muy táctica. O bien el departamento de TI soluciona cualquier problema o bien las diferentes unidades de negocio deben crear procesos de negocio para solucionarlo.

problemas de bad data.jpg

Cuando tiene que encargarse TI, el problema entra en cola y, a menudo, queda asignado con una prioridad baja. Así que las unidades de negocio, que se enfrentan con el problema en el día a día, deben intervenir.

Entonces, ¿por qué no se manejan los problemas de calidad de los datos a nivel organizacional?

En este artículo, vamos a describir seis pasos sencillos, pero altamente efectivos, para prevenir y corregir el Bad Data.

 

Cómo solucionar problemas de Bad Data

1. Comprender el problema

La organización debe llegar a un consenso sobre dónde está el bad data y qué impacto tiene en el negocio.

La mejor manera de lograr esto es a través de data profiling. El perfilado de datos es una actividad de aprendizaje, centrada en descubrir lo que tienes y lo malo que es. Se pueden descubrir diferentes tipos de disparidades durante este proceso de perfilado.

Los datos pueden ser incompletos. Por ejemplo, los registros de clientes en un sistema de gestión de relaciones con clientes (CRM) pueden carecer de códigos postales o direcciones de correo electrónico, o los números de partes pueden no aparecer en las entradas de una base de datos de gestión de materiales. O, en una aplicación de recursos humanos pueden faltar registros de empleados. En este segundo caso, debes determinar la definición completa de empleado para realizar su evaluación (es decir, si por ejemplo los contratistas y/o las empresas subcontratadas deben ser incluidas)

También puedes descubrir imprecisiones o inconsistencias dentro de los datos. ¿Los valores contenidos en los campos de la base de datos son correctos? Algunos problemas comunes podrían incluir entradas de código postal que contienen letras o direcciones de correo electrónico del cliente sin el símbolo "@".

Por último, es probable que se produzcan duplicaciones y redundancias. Por ejemplo, los productos pueden haber entrado en una base de datos de inventario más de una vez, o puede haber múltiples registros para un solo cliente en un sistema de CRM.

 

2. Crear la figura del responsable de datos

El responsable de datos puede ser la persona más importante en tu iniciativa de calidad de datos. Será responsable de crear las reglas para la generación, manejo, mantenimiento y distribución de datos, así como para delinear los procesos que ayudarán a asegurar la calidad en toda la organización.

El responsable de datos también velará por el cumplimiento de estas directrices, monitorizando y midiendo la integridad de la información de manera continua y modificando las prácticas de calidad a medida que cambien las necesidades, fuentes de datos y otros factores.

 

3. Aceptar el impacto del Bad Data

Debes conseguir una visión completa del impacto del Bad Data. A través del perfilado de datos realizado en el primer paso, se llega a una comprensión de lo que está mal. En este paso, se determinará por qué es incorrecto y cómo está afectando al negocio.

Quizás la mejor manera de comenzar este paso es crear un gráfico del ciclo de vida de los datos que se observó durante el paso de perfilado. ¿De dónde provienen los datos? ¿Cuáles son las aplicaciones descendentes que utilizan estos datos? ¿Cuál es el impacto a las aplicaciones de abajo si los datos no son correctos?

Hay que identificar los puntos de contacto durante el ciclo de vida donde los datos pueden ser manipulados, y resaltar los lugares donde se producen los datos, para que se pueda ver claramente lo que ocurre cuando la calidad se ve comprometida. En cada paso, asocia un valor a datos correctos y a datos erróneos. Cuando el ciclo de vida esté completo, simplemente agregas los números.

 

4. Decidir qué hacer con el Bad Data

Una vez que los problemas se descubren durante el perfilado, y se tiene alguna idea de la magnitud de los problemas, ¿qué se va a hacer para corregirlos? Todas las oportunidades, desafíos y riesgos deben ser priorizados, y se debe esbozar, implementar y aplicar una metodología para manejarlos.

El plan debe responder a estas preguntas:

  • ¿Qué errores se aceptarán (los que caen dentro de límites aceptables), y cuáles serán rechazados (los errores más problemáticos)?
  • ¿Qué sucederá con los errores rechazados? ¿Se excluirán los datos o se enviarán a alguien para su posterior revisión?
  • ¿Cómo se corregirán los errores corregibles? ¿Se manejarán manualmente o se aplicarán valores predeterminados?

 

5. Iniciar el proceso de limpieza

Una vez identificados los datos que son problemáticos, se llega a una determinación de cómo deben ser corregidos y se asigna a las personas responsables, ¿qué es lo siguiente?

Es hora de poner en marcha los procesos, procedimientos y planes para comenzar a limpiar los datos.

Esto puede parecer un ejercicio técnico, y debe involucrar a su organización de TI para trabajar con herramientas propias. Pero el trabajo de los pasos anteriores hará que la aplicación de los planes sea muy fácil.

 

6. Implementar y mantener procesos de calidad de datos de alcance general

Ahora tienes un proceso para resolver el problema inicial del negocio y se está operando de manera más eficiente. ¿Funciona con la máxima eficiencia? ¿Hay otros problemas relacionados con los datos que tu unidad de negocio debe buscar para corregir? Si es así, tienes la gente, los procesos y la tecnología para tratar con ellos.

Sin embargo, antes de empezar a hablar de ello, debes asegurarte de que se dispone de alguna manera de medir y supervisar el progreso hacia los objetivos de calidad de los datos.

Ya se han desarrollado métricas, y es importante mantenerlas continuamente actualizadas.

 

New Call-to-action

Topics: Big Data