Procesos ETL: Carga. ¿En qué consiste?

La última parte de los procesos ETL es la fase de carga, el momento en el cual los datos procedentes de la fase de transformación son cargados en el sistema de destino.

Hay que tener en cuenta que igual que puede haber varios sistemas o fuentes de origen (como ya hemos comentado en puntos anteriores) también pueden existir varios sistemas de destino diferentes.

Tipos de sistemas de carga

Fundamentalmente, existen dos tipos de carga:

• Inserts. Es un sistema de acumulación simple consistente en el transporte de la información en grande bloques de datos, previamente calculados en función, generalmente, de un valor sumatorio o de un promedio de la magnitud considerada. Se trata de la forma más sencilla y común de llevar a cabo un proceso de carga, pero tiene el inconveniente de que ante un accidente o problema (un corte de luz, un fallo del disco, etc.) se pierde la consistencia de los datos, pudiéndose darse el caso de tenerse que repetir toda la carga.     

• Loads. En este caso, la carga se realiza de forma más escalonada y segura. Para ello, el sistema agrupa la información de forma automática y transparente según distintas variables: ,  fechas, por un número determinado de registros, etc. Esta modalidad permite procesar el punto exacto hasta el que se ha realizado la carga, lo que supone que si se produce un fallo solo hay que retomar el proceso de carga desde ese punto concreto, sin necesidad de repetirlo todo de nuevo.

Principales diferencias entre inserts y loads  

Las diferencias entre los dos principales modalidades de carga (aunque no las únicas puesto que existen también sistemas mixtos) se encuentran en el nivel de consistencia de los datos y en el tiempo de carga.

Cuando se utiliza un sistemas insert el nivel de consistencia se reduce, puesto que una falla puede obligar a una repetición íntegra del proceso. Sin embargo, la duración del tiempo de carga es menor.

El sistema loads ralentiza el proceso como consecuencia de los procesamientos automáticos del estado de la carga, pero en contrapartida se gana en consistencia de los datos y registros.

Claves para asegurarnos de que la carga se realiza de forma correcta

• Utilizar la menor cantidad de recursos disponibles.

• Asegurar lo más posible la consistencia de los datos que se están cargando.

• Priorizar la calidad de la carga antes que la rapidez.

• Tratar de no interferir en otros procesos en marcha.

La elección del tipo de carga ideal depende de cada caso  

La elección del tipo de proceso de carga, cuya decisión final normalmente corresponde al dueño del proceso ETL, debe tomarse tras valorar una serie de parámetros: cantidad de datos a cargar, velocidad que realmente se precisa, etc.

La recomendación general es que si el volumen de datos a cargar es importante, conviene decantarse por un sistema que asegure una mayor consistencia de los datos, evitando así tener que repetir todo el proceso ante cualquier eventualidad.