El valor de la gestión de datos

Algunos errores en integración de datos y cómo evitarlos

Posted on Tue, Nov 22, 2016

La integración de datos es compleja para muchas empresas, pero no debería de ser así. A pesar de que la integración de datos es una disciplina de IT bastante bien entendida, parece haber mucha confusión entorno a ella, lo que conduce a una gran cantidad de errores muchos de los cuales son evitables.

integracion de datos.jpg

Para entender cómo podemos tener éxito en esta disciplina debemos entender primero cuáles son los patrones que nos conducen al fracaso. No quiere decir esto que tengamos que pensar en negativo, sino que debemos entender los errores que otros hacen porque nos pueden proporcionar las mejores lecciones para aprender cómo podemos hacerlo bien.

Vamos a ver por tanto algunos de los errores más comunes que te puedes encontrar en algunas empresas. También veremos cómo puedes evitarlos.

 

No ser capaz de entender los datos que se van a integrar

Aunque pueda parecer obvio, la mayoría de los grandes errores de integración de datos tienen que ver con fallos de comprensión de los datos que hay en los sistemas origen y destino. Podrían ser datos almacenados en bloques de datos almacenados en una SAN, objetos de datos, sistemas de bases de datos relacionales o incluso almacenes de datos de los que somos propietarios.

Los datos deberían ser definidos en términos de almacenamiento físico tanto si tienen estructura como si es el caso que no la tienen. A partir de ahí, determinar qué enfoque es el mejor para la integración de datos, incluyendo la transformación y la traducción de los datos al vuelo, así como la estructura necesaria que debe ser aplicada antes del consumo de los datos por el motor de integración de datos.

 

No tener en cuenta el rendimiento

El problema es suponer que la tecnología de integración de datos no tiene latencia. Y eso nunca es así. Si consumes una gran cantidad de datos de muchos sistemas, los procesos en los datos al vuelo van a determinar el rendimiento de la solución de integración de datos. Si el procesamiento es muy intensivo de entrada y salida o muy complejo las cosas irán lentas. Si hay poco procesamiento entonces las cosas funcionaran rápido.

La única forma de tratar con el rendimiento es entender el objetivo de la tecnología de integración, así como los casos de uso que tienes planificado utilizar. Si no entiendes todo esto, el resultado que obtienes es que el rendimiento será difícil de predecir y podría dar como resultado un fallo, dado que la solución es demasiado lenta durante la producción. Se trata de un problema difícil de resolver después de que ocurre.

 

Olvidarte de la seguridad y la gobernabilidad

La seguridad no debería de ser algo que dejes para el último momento. De hecho debería ser sistemática con la solución de integración de datos. Esto incluye identificación y gestión de accesos así como encriptación. Tenemos que lidiar también con la conformidad con las leyes a las que estamos sometidos. A menudo muchas leyes determinan cómo deben de ser manejado los datos.

El gobierno de datos es también importante. De la misma forma que planteamos la idea de que necesitas entender tus datos también necesitas estar seguro que controlas cómo cambian los datos a lo largo del tiempo así como restringir quién puede enviar y acceder a los datos de acuerdo a las políticas que se hayan acordado.

 

Conclusión

Estos tres errores son evitables. Sin embargo también son muy comunes. A medida que avanzamos con la tecnología de integración de datos, tenemos que considerar cómo las cosas pueden ir mal, así como qué tenemos que hacer para que funcionen bien. Estudiar la historia a veces es el camino más productivo.

 

Integridad de datos

Topics: Data Integration