Mala calidad de datos: ¿dónde se origina y cómo detectar el error?

El avance de la tecnología en cuanto a gestión de datos e información hizo que las empresas enfrenten día tras día un gran aumento en la cantidad y diversidad de los datos que deben gestionar, así como en los elementos a los que se asocia toda esa información. 

Consecuentemente, cada vez más, la calidad de datos es una preocupación para muchas organizaciones que buscan lograr una vista 360 del negocio y poder tomar decisiones basadas en datos. Ahora bien, ¿qué motivos generan un pobre Data Quality? Veamos, a continuación, las principales 4 razones.

El aumento exponencial del volumen de información disponible ha derivado en un manejo cada vez más ineficiente de los datos a nivel de empresas, lo cual afecta directamente a su desempeño y toma de decisiones, y termina dificultando la gestión organizacional. 

Si entendemos que los datos constituyen un recurso estratégico para la organización y que su gestión es una prioridad, se hace imprescindible asegurarnos de gestionar la mayor calidad posible en la información.  

Entonces, ¡vayamos al origen del problema! 

Para detectar cómo se pierde la calidad de los datos, es recomendable ir al origen del problema. Veamos los 4 motivos que lo originan:

• Ingreso de datos: La mayor fuente de errores son las entradas de información manual. Ello se debe, entre otras cosas, al ruido en la comunicación, a los errores tipográficos o equivocaciones, y a otros factores externos que terminan provocando la mala calidad de datos. 

• Datos externos: Frecuentemente se incorporan datos externos de forma automática en los sistemas de información de las organizaciones, sin tomar las precauciones oportunas. Esto provoca múltiples problemas de calidad de datos, cuyos inconvenientes pueden escalar si no se saben detectar a tiempo. 

• Errores de carga de los sistemas transaccionales: Los diferentes errores que suelen ocurrir durante la carga en los sistemas transaccionales, son otro de los puntos focales de la deficiencia en la calidad de los datos.  

• Migraciones: Cuando se realiza una migración de datos sin haber previamente analizado en profundidad los cambios que hay que aplicar a la información, una de las muchas consecuencias suele ser la mala calidad de esa información (valores obsoletos, formato distinto al esperado en el nuevo sistema, duplicidades, entre otras cuestiones).

Muchas veces los primeros problemas comienzan en la carga inicial y, como rara vez se corrigen, se arrastran durante todas las posteriores operaciones, incluso en la extracción, transformación y transacciones con los mismos datos. 

Tal vez te interese leer: 
¿Cómo lograr un enfoque Data-driven sin fricciones ni silos de datos?

Errar es humano, detectar es imprescindible 

Para poder prevenir y detectar errores a tiempo debemos organizarlos. Para eso podemos decir que generalmente los mismos se dividen en tres categorías:  

• Errores por información incompleta: consisten en registros o campos faltantes. ¿Qué es lo que no se cargó y qué pasará con esos registros o campos sin datos?
   
• Sintaxis: está relacionada con el formato de los datos y cómo se representan. ¿Tienen los datos la forma correcta? ¿Se encuentran los datos dentro del intervalo de valores?
  
  
• Semántica: transmite el significado de los datos. ¿Hay valores ocultos en los datos no estructurados? ¿Hay nombres en los campos de direcciones, a pesar del cumplimiento de la forma correcta de los datos? ¿Existen registros duplicados con leves diferencias? 

Ahora sí entendemos por qué el Data quality es un punto clave en los procesos ETL. Pero la preocupación por la mala calidad de datos no solo debería impulsar acciones puntuales aplicadas a la extracción, la carga o la transformación, sino también rutinarias, que ayuden a velar por el mantenimiento de los niveles óptimos de Data quality en la empresa. 

Tal vez te interese leer: 
Logra un Gobierno de Datos que asegure la calidad de la información