Desafíos de los Procesos ETL: la Clave es Pensar en el Futuro

Actualmente, las organizaciones crecen y evolucionan a una extraordinaria velocidad. Y lo mismo ocurre con sus necesidades a nivel de sistemas informáticos en general y muy particularmente de los procesos ETL.

Esto significa que los nuevos procesos ETL deben adecuarse no solamente a las necesidades más actuales de las organizaciones, sino también anticiparse al futuro, puesto que en poco tiempo estas crecerán, por lo que tendrán que manejar un volumen mucho mayor de datos y de fuentes y canales muy diversos.

Desafíos de los procesos ETL

Los procesos ETL que se pongan en marcha a partir de ahora deben tener la capacidad de:

• Manejar de forma simultánea datos tanto estructurados como no estructurados.

• Poder leer, procesar y analizar datos provenientes de las redes sociales: Facebook, Twitter, Linkedin, etc.

• Procesar datos en tiempo real, lo que se conoce también como streaming de datos. Por ejemplo, poder consultar la cotización de una moneda en tiempo real y añadirlo a la base de datos para poder hacer análisis o reporters totalmente actualizados.

• Permitir la escalabilidad. Hoy en día, y en el futuro todavía más, lo datos de una organización crecen de forma exponencial. Esto significa que si en el presente una empresa necesita 1TB de memoria para manejar sus datos, el año que viene precisará 2TB y al otro año 8 TB... Que un proceso ETL permita escalabilidad significa que, en el caso de que la empresa agregue más hardware o mayor memoria, el sistema va a ser capaz de aprovechar esos nuevos recursos y funcionar de modo más eficiente. Existen dos grandes tipos de escalabilidad:

• Escalabilidad vertical. Es cuando a la carga de procesos ETL se le añaden más recursos: discos, memoria, CPU.

• Escalabilidad horizontal. Consiste en  utilizar dos o tres servidores en los que se instalan procesos ETC interconectados y procesando en paralelo, de manera que se aprovecha la potencialidad de la suma de esos equipos.   

La clave está en adaptarse al volumen creciente de datos

A la hora de diseñar la arquitectura de buen proceso ETL se deben tener en cuenta los desafíos actuales y futuros para poder cumplir con  las expectativas. La clave está en poder soportar los volúmenes crecientes de información y datos que se van generando en la organización sin tener que reprogramar los procesos ETL.