Qué es dark data y cómo afecta a tu empresa

Bastantes de los datos que recopilan las organizaciones se utilizarán para mejorar su forma de hacer negocios. Ya sea información sobre cómo los usuarios utilizan su producto, resultados recopilados de los esfuerzos de marketing o estadísticas internas sobre los procesos de desarrollo; se trata de activos que nada tienen que ver con el dark data.

Sin embargo, en ese océano de datos en constante crecimiento no toda la información es igual de rentable. Junto con esa información valiosa, también se almacena una cantidad de datos que no tienen ningún valor táctico real y que, además, no deja de aumentar.

Gartner definía esta información no administrada como datos oscuros o dar data. Este tipo de información supone a las organizaciones un esfuerzo costoso y potencialmente arriesgado que podría convertirse en un importante obstáculo en el aprovechamiento de Big Data.

Pixtum

¿Qué datos hay en la organización?

La información disponible en la organización se puede clasificar en cuatro categorías:

1. Datos conocidos y utilizados. Esta información está identificada y se utiliza con fines analíticos o cualquier otro propósito que aporte valor a la organización.
2. Datos conocidos, pero no utilizados. Esta información se ha almacenado tras ser identificada en los procesos de análisis, pero no se consigue emplear, bien por falta de tiempo, de presupuesto o por desconocimiento de la forma de lograrlo. En ocasiones la no utilización se debe a que el tamaño y formato de esos datos desbordan las posibilidades de la empresa.
3. Datos conocidos, pero desorganizados. Este fenómeno tiene mucho que ver con la aparición de Big Data. Cuando trabajamos con estructuras Hadoop se tiende a almacenar sin un orden, relegando este trabajo y el modelaje al futuro. Pero el día de centrarse en organizar toda esa información, en la mayoría de los casos, nunca llega. Aunque el primer paso es que esos datos no se escapen, y recopilarlos es un acierto; el esfuerzo no termina de resultar rentable ya que cuesta mucho extraer valor de esos clústeres Hadoop.
4. Datos desconocidos. Como no se han identificado, estos datos no pueden ser utilizados por las empresas.

Hay que tener en cuenta un par de aspectos, que la mayoría de estos datos son no estructurados y que, mientras que el primero grupo es el de menor tamaño, el mayor volumen de datos se concentra en la última categoría.

Un estudio de EMC Digital, que compara la evolución, cómo el tamaño de los datos digitales se está incrementando, llegando a multiplicarse por 10 en siete años; pero sobre todo cómo esta proporción persiste en la pequeña proporción de esos datos que están disponibles en los sistemas analíticos y sistemas embebidos, y procedentes de dispositivos móviles. Es decir que se trata de un gran tamaño de información que, no solo crece, sino que contribuye a aumentar el reto de poderla aprovechar, en parte por el tipo de formatos, donde más del 90 % son no estructurados y, por tanto, de difícil uso y difícil consumo.

¿Qué es dark data?

Durante mucho tiempo los datos han estado prisioneros de tecnología, aplicaciones y personas. Afortunadamente la madurez de los sistemas nos permite liberarlos y ponerlos a disposición de toda la organización.

Y en este concepto de liberalización aparecen los datos oscuros, dark data, un término creado por Gartner y que se define como “los activos de información que las compañías procesan y almacenan durante sus actividades de negocio, pero que no consiguen utilizar para otros propósitos, como visión analítica o monetización. Es decir, que no son convertibles ni reutilizables y, por tanto, no aportan valor.

Sin embargo, este concepto de dark data evoluciona con el tiempo. Hoy ya se puede acceder y explotar el valor de muchos de esos datos. Aunque, todavía quedan grandes zonas que no están accesibles y siguen cumpliendo esta premisa, son datos oscuros.

¿Qué problemas provoca el dark data?

El dark data actúa como un lastre para las organizaciones, ya que, este tipo de datos, conllevan inconvenientes como:

• Aumento del coste de gestión de datos.
• Incremento del riesgo.

Existen muchos problemas asociados con los datos oscuros que pueden volverse más frecuentes a medida que pasa el tiempo. El primero de ellos es el más obvio: el espacio. A medida que los datos no organizados continúan creciendo, ocupan un espacio de almacenamiento que, de lo contrario, podría usarse para activos más valiosos. Más almacenamiento significa más costes generales, lo cual, especialmente en la era de Big Data, es una preocupación importante en la mayoría de las organizaciones.

Aparte del aumento de los costes de almacenamiento, tener grandes cantidades de datos no estructurados o no organizados puede, potencialmente, conllevar graves riesgos de seguridad. Junto con los documentos obsoletos y aparentemente inútiles, es probable que los datos oscuros también contengan información confidencial que los piratas informáticos podrían querer interceptar.

En el otro extremo del espectro, la organización también puede estar perdiendo grandes oportunidades al permitir que el dark data se acumule en la base de datos. Es probable que haya un gran potencial sin explotar dentro de esa masa de información y, cuanto más aumenta, sin orden ni control, más complicado se vuelve para la organización extraer el valor de esos datos.