Claves para documentar los procesos ETL

Podemos documentar los procesos ETL, es decir, los que se llevan a cabo con una herramienta de extracción, transformación y carga (ETL, por sus siglas en inglés) tras su diseño e implementación o hacerlo de forma simultánea, bien optando por la herramienta nativa, pues cada proyecto es autodocumental, o bien empleando otra diferente.

Sea como fuere, a la hora de documentar los procesos ETL es fundamental reflejar el corazón del proyecto, lo que implica realizar un informe claro y bien estructurado, que se entregará al cliente para que tenga constancia del trabajo final realizado, y, por otra parte, también será de gran utiilidad para facilitar su mantenimiento y realizar una mejora continua.

¿Cómo documentar procesos ETL?

No existe un estándar ni metodología comúnmente aceptada que podamos seguir para documentar proceso ETL y su lógica en la práctica y, de hecho, en muchas ocasiones ni siquiera se realiza esta labor. Sin embargo, es necesario llevarla a cabo si queremos contar con una documentación que refleje el desarrollo y resultado del proyecto, realizada de forma ilustrativa, y complementando al mismo proceso implementado.

Básicamente, hay una serie de cuestiones clave que deberíamos considerar a la hora de documentar procesos ETL de la mejor manera posible. Se trata de las siguientes:

• Metodología flexible. La mencionada ausencia de un estándar o metolología nos permite buscar nuestra propia manera decdocumentar procesos ETL. Además de las utilidades que brinda la herramienta utilizada, existen distintos métodos que pueden ayudarnos a visualizar la ETL implementada, como el concepto de mapeo de la cadena de valor o VSM (Value Stream Mapping), con lo que será posible utilizar esa misma visualización como documentación o como parte de ésta, dentro de un informe más completo.

• Metadatos, una buena ayuda. Teniendo en cuenta que la documentación de alguna manera está implícita en los metadatos de la propia ETL, hay que cosiderar que una buena implementación permite visualizar los procesos de una sola vez. Así, al concluir el proyecto, debería ser posible visualizar de forma gráfica el flujo que siguen los datos y utilizarlo como información de base para documentar el movimiento de los datos, añadiendo una introducción y especificando los flujos de entrada y salida en un proceso de ETL.
  
  

  

   

  Tal vez te interese leer: 
  Informática PowerCenter ETL visto desde dentro

  
  
  

• Documentar el corazón del proceso. En la documentación se refleja la parte importante, el núcleo del proceso. Por este motivo, no pueden faltar una introducción, una revisión de los requerimientos, un resumen de las reglas del negocio aplicadas o información acerca de las pruebas realizadas para llegar al resultado. Hay que tener en cuenta que la documentación de los procesos ETL hace referencia a los aspectos esenciales relativos a cuestiones tan diversas como el diseño, los orígenes y destinos, la solución o soluciones aplicadas o las transformaciones realizadas, entre otros. Pero, además de estos aspectos, y ya se lleve a cabo la documentación de forma manual o automatizada, aprovechando o no la herramienta nativa, esta documentación debe servir también para contrastar los requerimientos planteados al inicio del proyecto y los resultados alcanzados.

  Por último, hay que documentar procesos ETL teniendo en mente que la finalidad de esta tarea debe ser crear un documento versátil. Además de ser útil a título informativo y también como memorándum, la documentación de los procesos ETL deben conseguir una representación visual de los mismos mediante los diagramas e indicaciones necesarias para facilitar la labor de los programadores y personal de mantenimiento, poniendo los medios, a su vez, para la realización de un posterior proceso de mejora continua como objetivo final.