El linaje de datos es parte de una transformación digital

La transformación digital permite impulsar nuestros negocios , sin embargo, no esta exenta de problemas. A continuación te presentamos la dificultad más frecuente y cómo puede ser abordada.

Calidad de Datos como el principal problema en la Transformación Digital

En estudios recientes, más del 52% de los encuestados indican que la calidad del dato es el principal problema en iniciativas de transformación digital. En otro estudio, un 42% indicó no estar satisfechos de cómo sus plataformas manejan esto.  

Debemos ser conscientes que aunque utilicemos técnicas rimbombantes se necesitan datos completos, consistentes y correctos para confiar en los modelos. Un mal modelo puesto en producción puede perjudicar la transformación digital porque la organización no confía, y no confiará, en los resultados o modelos futuros.

Consejos para una Transformación Digital Exitosa

Si bien podemos encontrar herramientas que automaticen parte del proceso de calidad (algunas no solo detectan problemas, también los solucionan), no es garantía para asumir que los datos son 100% precisos ni menos que tienen ausencia de sesgos. Por lo tanto, recomendamos establecer de forma EXPLÍCITA un equilibrio entre revisiones manuales y automatizadas.

Sugerimos considerar los siguientes aspectos:

Gobierno de Datos

Confiar en los datos implica implementar políticas, roles (funciones) y procedimientos EXPLÍCITOS (con accountability) para garantizar que se pueda confiar en estos. Recientes estudios indican que un tercio de las organizaciones NO gobiernan sus datos en absoluto.

Metadatos

El objetivo es ayudar a los diferentes usuarios a comprender mejor los datos que tienen disponibles y accederlos más rápido. Proporcionarles información sobre ¿Quién los creó? ¿Cuándo? ¿Cómo se estructuran? ¿Cómo se han creado? es vital.

Una característica que ha adquirido mayor relevancia es el “Data Lineage” (Linaje), puesto que permite trazar desde dónde se originaron los datos, cómo se han transformado, consumido y compartido.

Sugerimos no subestimar este tema puesto que para contextos regulatorios es un desde. Hay casos en dónde se presentaron problemas contables por más de $7 mil millones, que con la ayuda de un buen “Lineage”, se pudo haber enfrentado/anticipado de mejor manera.

Es crucial saber si los datos se han alterado de alguna manera antes de usarlos como entrada para la toma de decisiones. Con los metadatos se puede sistematizar y automatizar esta información.

Habilidades

Si bien es un tema bastante tratado , no viene mal recordar e intentar formar equipos con diferentes “skills” (desarrolladores, estadísticos, etc.). Por supuesto capacitarlos sobre el negocio perse entregándole (idealmente) las herramientas con las que se sienten cómodos.

Herramientas

Considerar no solo las herramientas que la empresa ya ha adquirido, sino también la posibilidad de incluir herramientas de código abierto como R y Python ya que muchos proveedores están abriendo sus plataformas a estas.

Nota Final sobre la calidad y transformación digital

Desde nuestro punto de vista, asegurar la calidad debe ser visto como un ciclo continuo (con monitoreo incluido) que permita garantizar en gran medida que estos y sus modelos subyacentes son precisos y/o razonables.  

Nota: Si crees que este contenido puede ser útil para otras personas no dudes en compartirlo. De igual forma te invitamos a seguirnos en Linkedin, Facebook y Youtube donde estamos publicando semanalmente tips relacionados con Business Intelligence & Data Warehouse, Data Science, Visualización de Datos y Software a la Medida.

Fuentes:

  1. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition
  2. The Data Warehouse Lifecycle Toolkit, 2nd Edition
  3. Digital Transformation Using Machine Learning,  By Fern Halper

Agregar un comentario

Su dirección de correo no se hará público.