¿Qué es Data Mesh y por qué empodera los equipos de datos?

Si tenemos que definir Data Mesh en forma simple, deberíamos decir que es la construcción de una infraestructura de autoservicio que permite a los equipos utilizar recursos y herramientas bajo demanda, para acceder a los datos correctos, procesarlos, prepararlos y analizarlos. Ahora bien, ¿qué impacto tiene esto en la motivación de los equipos de datos?

Somos parte de un nuevo paradigma en el que las empresas escalaron su cantidad y calidad de datos. En la era Data 4.0 ya no se cuestiona la importancia de la información, sino en cómo realizar una gestión de datos eficaz para lograr una visión 360 del negocio y poder tomar decisiones informadas. Por eso, la idea del data mesh es darles el poder sobre la información a los equipos para que mejoren la accesibilidad y la interconexión, logrando una visión única e integrada.

Tal vez te interese leer: 
Pilares fundamentales del gobierno de datos para una gestión eficaz

Hacia la democratización de datos

A medida que crece el número de fuentes y consumidores de datos, también lo hace el número de canalizaciones de datos necesarios para conectarlos. Esto hizo imprescindible contar con equipos especialistas en la carga de datos y habilidades para desarrollar tecnologías y administrar toda esa información. Esto fue generando paulatinamente un distanciamiento de quienes necesitan utilizar esos datos y aquellos que los gestionan. 

Por eso durante los últimos dos años la arquitectura de data mesh surgió para resolver el desafío de las barreras de datos y así lograr una democratización de la información. En este post profundizaremos sobre sus características esenciales.

Los 4 principios de Data Mesh

• Propiedad impulsada por el dominio: el primer principio de un data mesh es transferir el poder de los datos y la propiedad a las manos de los equipos de dominio (es decir departamentos, unidades de negocio, etc.). Ellos serán los dueños de los datos de un extremo a otro, y podrán asegurarse de tener desde las fuentes correctas hasta los procesamientos necesarios y la entrega de los datos para que otros equipos de dominio los aprovechen como productos.
  
  
• Datos como producto: los equipos de dominio son responsables de los datos y también de los productos de datos resultantes. El objetivo es lograr que cada “producto de datos” sea descubierto y utilizable por los consumidores y otros equipos de dominio, y el propietario del dominio es responsable de mantener y actualizar (o desaprobar) estos productos para garantizar la calidad y la precisión. En la práctica esto permite que, por ejemplo, un producto de datos creado por el equipo de inventario sea aprovechado por el equipo de marketing o diversos equipos regionales para sus propias accione.
  
  
• Infraestructura de autoservicio: que todo sea “autoservicio” hace que nos olvidemos para siempre de las tecnologías complejas y las habilidades de nicho. El Data mesh se basa, por principio, en una gestión de datos mediante una plataforma común y un conjunto de herramientas que cualquier equipo de dominio pueda aprovechar.
  
  
• Gobernanza federada: si de verdad queremos eliminar controles de acceso necesitamos un equilibrio entre las políticas y controles de gobernanza global y la posibilidad de dominio y creación de productos. Esto es lo que llamamos gobernanza federada y en la práctica es fundamental para garantizar la privacidad, el cumplimiento y la posibilidad de escalar.

Una arquitectura ágil

Desde Powerdata trabajamos para que todos estos principios se lleven a la práctica de manera simple y ágil, gracias a  Snowflake Data Cloud que combina la potencia del data warehousing, la flexibilidad de las plataformas de big data, la elasticidad de la nube, y costos adaptados.

¿Cómo lo hacemos? La plataforma de Snowflake está diseñada pensando en un rendimiento a escala y de simplicidad extrema, para permitir una colaboración e intercambio de datos controlado para poder tomar decisiones data-driven.

También simplifica sin sacrificar la velocidad o usabilidad, permitiendo que los equipos de dominio puedan impulsar canalizaciones a gran escala, exploración ad hoc, informes de BI, ingeniería de funciones, aplicaciones interactivas y más. El motor de rendimiento admite a todos los códigos de programación (SQL, Java, Scala o Python) o incluso una combinación. Y con la escalabilidad elástica y la computación de múltiples clústeres aislada, cada equipo de dominio obtiene acceso a los recursos dedicados que necesita para lograr una visión 360 de la información sin afectar el rendimiento o la concurrencia de otros equipos. 

El data mesh a través de Snowflake Data Cloud hace que el concepto de equipos de datos realmente haga honor a la idea de “equipo”, porque por primera vez las distintas áreas podrán trabajar juntas, utilizar los mismos recursos, generar un espíritu colaborativo y experimentar en la práctica cómo los esfuerzos de uno repercuten en un aporte de valor para toda la organización.  La democratización de datos al servicio de la escalabilidad de ideas, recursos y resultados.

¿Está tu negocio impulsando la democratización de la información y el empoderamiento de equipos?