El valor de la gestión de datos

¿Cómo podemos comprobar un proceso ETL?

Posted on Wed, Apr 12, 2017

Un proceso ETL se utiliza con el fin de obtener una perfecta integración entre las diferentes fuentes de datos de los diferentes departamentos de una organización. El proceso ETLfunciona como integrador, extrayendo datos de las diferentes fuentes, transformándolos en el formato preferido, basado en las reglas de transformación del negocio, y cargándolos en una base de datos unificada, conocida como Data Warehouse.


proceso_etl.jpg

Créditos fotográficos: monsitj

Un alcance bien planificado, bien definido y eficaz de las pruebas de un proceso ETL garantiza el paso a producción del proyecto. Si el proceso ETL está verificado y validado podremos obtener un Data Warehouse robusto.

Sin embargo, no todas las formas de llegar a este punto son igual de eficientes. En ocasiones se recurre a la observación y cotejado de datos procedentes de hojas de cálculo y se introducen secuencias de comandos de SQL. Si bien son métodos conocidos, implican más inconvenientes que ventajas, puesto que:

  • Su índice de errores es elevado, dada la falta de automatización y la interacción humana.
  • Se trata de formas muy lentas de enfocar el proceso ETL para pruebas.
  • Es difícil que proporcione una cobertura completa de la prueba.

Pero, ¿cómo evitar estas desventajas?

 

Proceso ETL: superando los desafíos que plantean las pruebas

Afortunadamente, existen nuevas soluciones en el mercado que permiten olvidarse de estos problemas. Informatica Data Validation Option es una de ellas y, además de su velocidad, cobertura de prueba completa y automatización, tanto en entornos de producción como en los de desarrollo y prueba; tiene la ventaja de que no requiere usuarios técnicos, puesto que, para su manejo no hacen falta conocimientos de programación.

Entre los beneficios más significativos de esta solución cabe destacar:

  1. Aumento de la productividad del desarrollador de IT, gracias a una reducción del tiempo y los recursos que se precisan para la realización de las pruebas de proceso ETL de entre un 50% y un 90%.
  2. Mayor confiabilidad en los resultados. Este software, gracias a la visibilidad que permite y a la automatización para las pruebas de ETL, asegura la entrega de datos fiables en las actualizaciones del sistema de producción.
  3. Minimización del riesgo, que es la que se logra cuando la cobertura completa garantiza la integridad de los datos.

En la práctica, las pruebas de un proceso ETL se benefician de la implementación de Informatica Data Validation Option cuando se trata de:

  • Llevar a cabo actualizaciones de aplicaciones: la ventaja es el ahorro de tiempo que se logra gracias a la automatización de la validación de los datos procedentes de una aplicación o repositorio anterior.
  • Practicar pruebas de transformación: cuando se trata de poner en marcha las pruebas de origen a destino, uno de los pasos más críticos en un proceso ETL, es fundamental contar con el apoyo de una herramienta que compruebe que los valores de datos después de la transformación son los esperados. Si, además, se puede llevar a cabo este paso de las pruebas sin necesidad de conocimientos de programación, la organización sale ganando.
  • Hacer el balanceo de tablas: las pruebas de validación de producción son el último paso de las pruebas en un proceso ETL. Para llevarlas a cabo, hay que ocuparse de los datos a medida que se están trasladando a los sistemas de producción. No pueden permitirse los errores, por lo que, en este punto, la automatización es especialmente importante para evitar que los sistemas de producción se vean comprometidos.

Las pruebas ETL están llenas de desafíos que van desde las incompatibilidades a las duplicidades, de la falta de disponibilidad al volumen o complejidad excesivo en los datos. Sin embargo, es preciso contar con los medios para hacerles frente y entregar a la organización la información que necesita y en el formato requerido. La elección tecnológica de un proceso ETL tiene un gran impacto sobre las futuras decisiones críticas de negocio y hay que conseguir que la que se escoja, asegure que la información del negocio sea exacta, consistente y confiable.

 

Integridad de datos

Topics: Data Integration