Desafíos para los procesos y herramientas ETL

Los procesos ETL pueden ser muy complejos. Un sistema ETL mal diseñado puede causar importantes problemas operativos. Puede suceder que, en un sistema operacional, el rango de valores de los datos o la calidad de éstos no coincidan con las expectativas de los diseñadores a la hora de especificarse las reglas de validación o transformación.

Para evitar este tipo de situaciones, es recomendable realizar durante el análisis un examen completo de la validez de los datos (Data Profiling) del sistema de origen, para identificar las condiciones necesarias para que los datos puedan ser tratados adecuadamente por las reglas de transformación especificadas. Esto conducirá a una modificación de las reglas de validación implementadas en el proceso ETL.

Normalmente los Data Warehouse son alimentados de manera asíncrona desde distintas fuentes, que obedecen a propósitos muy diferentes. El proceso ETL es clave para lograr que los datos extraídos asíncronamente de orígenes heterogéneos se integren finalmente en un entorno homogéneo, todo ello sin perder la fluidez y agilidad que se desea.

La escalabilidad de los sistemas y los procesos ETL

La escalabilidad de un sistema de ETL durante su vida útil tiene que ser establecida durante el análisis. En concreto, el término escalabilidad hace referencia a la capacidad del sistema para reaccionar y adaptarse, para crecer y para manejar con fluidez el crecimiento continuo de trabajo sin que ello suponga un menoscabo en su calidad. Estas capacidades incluyen la comprensión de los volúmenes de datos, que tendrán que ser procesados según los acuerdos de nivel de servicio (SLA: Service Level Agreement).

El tiempo disponible para realizar la extracción de los sistemas de origen podría cambiar, lo que implicaría que la misma cantidad de datos tendría que ser procesada en menos tiempo. Algunos sistemas ETL son escalados para procesar varios terabytes de dato, siendo capaces de actualizar un Data Warehouse que puede contener decenas de terabytes de datos.

El aumento de los volúmenes de datos que pueden requerir estos sistemas pueden hacer que los lotes que se procesaban a diario pasen a procesarse en micro-lotes (varios al día) o incluso a la integración con colas de mensajes o a la captura de datos modificados (CDC: Change Data Capture) en tiempo real para una transformación y actualización continua.

La funcionalidad de las herramientas ETL

Las herramientas ETL no tienen por qué utilizarse sólo en entornos de Data Warehousing o construcción de un Data Warehouse, sino que pueden ser útiles para multitud de propósitos, como por ejemplo:

• Tareas de Bases de datos: que también se utilizan para consolidar, migrar y sincronizar bases de datos operativas.
• Migración de datos entre diferentes aplicaciones por cambios de versión o cambio de aplicativos.
• Sincronización entre diferentes sistemas operacionales (por ejemplo, entre nuestro entorno ERP y la web de ventas).
• Consolidación de datos: sistemas con grandes volúmenes de datos que son consolidados en sistemas paralelos, ya sea para mantener históricos o para llevar a cabo procesos de borrado en los sistemas originales.
• Interfases de datos con sistemas externos: como el envío de información a clientes o proveedores. También servirían para la recepción, proceso e integración de la información recibida.
• Interfases con sistemas Frontoffice: serían interfases de subida/bajada con sistemas de venta.
• Otros cometidos: como la actualización de usuarios a sistemas paralelos o la preparación de procesos masivos (tipo mailings o newsletter).

En referencia a este tema, el informe de Gartner hace una comparativa de las productos más importantes del mercado, posicionándolos en el según diferentes criterios, y hablando de las ventajas y puntos de riesgo de cada fabricante; por lo que resulta muy útil a la hora de tener acceso a las herramientas ETL más importantes.