Datos fiables permitirán automatizaciones con decisiones fiables
Gobierno del dato: auditoría de la calidad de los datos
Revisamos las bases de datos y las aplicaciones de la empresa, medimos los duplicados, los datos inválidos y los formatos sin unificar, y entregamos un informe con las soluciones.
¿Cuándo empiezan los problemas?
Cuando los sistemas no controlan la calidad de los datos
La mayoría de los problemas de calidad tienen el mismo origen: campos con demasiada libertad, que cada persona rellena con su propio criterio. Un mismo cliente aparece con tres nombres distintos, una provincia se escribe de cuatro formas y los estados se anotan a mano. Cuando se obtiene un listado, se agrupa por zona o se cruzan dos sistemas, las cifras no cuadran y nadie sabe cuál es la correcta.
Gobernar el dato (data governance) es decidir quién es responsable de cada conjunto de información, cómo se registra, qué se valida al entrar y cada cuánto se revisa. En la práctica, consiste en sustituir esa libertad por un criterio fijo: listas cerradas, formatos únicos y validaciones.
La auditoría es el punto de partida: mide el estado actual de los datos y propone las reglas y las herramientas para corregirlo. Las reglas se acuerdan con la empresa; las herramientas hacen que se cumplan.
Habitualmente, en las migraciones y en los desarrollos se requieren procesos de limpieza y de unificación de datos. También se puede encargar solo la auditoría: termina en un informe, sin corregir datos ni implantar cambios.
¿Cuándo conviene revisar la calidad de los datos?
Disponer de datos fiables es la base de cualquier digitalización
Antes de una migración
Si los datos se migran tal como están, los duplicados y los errores pasan al sistema nuevo. La migración obliga a definir formatos y correspondencias entre campos: es el mejor momento para corregirlos.
Al integrar una herramienta de BI
Un cuadro de mando muestra los datos tal como están. Si un mismo concepto se registra de varias formas, los gráficos reparten las cifras entre categorías que en realidad son la misma, y los totales no coinciden con los de otros informes. Antes de implantar una herramienta de business intelligence, conviene revisar los datos de los que se alimenta.
Al implantar un ERP, un CRM o un PIM
El sistema nuevo tiene sus propios formatos y validaciones, y los datos anteriores tienen que cumplirlos. Conviene saber antes cuántos no los cumplen y por qué.
Antes de automatizar o de un proyecto de IA
Las automatizaciones y la inteligencia artificial heredan los datos: si están duplicados o incompletos, sus resultados también lo estarán, y se presentarán como ciertos.
Al unificar varias fuentes
Hojas de cálculo, una base de datos antigua y un programa nuevo con la misma información. Antes de unificarla hay que saber qué versión de cada dato es la correcta.
Aunque no haya un proyecto previsto
Tener la información bien organizada facilita cualquier digitalización futura: cada integración, automatización o aplicación nueva parte de esos datos.
Qué revisa una auditoría de la calidad de los datos
Estructura de las bases de datos
Tablas, campos, tipos de datos y relaciones. Campos de texto libre donde debería haber una lista cerrada, y campos que deberían ser obligatorios y no lo son.
Valores almacenados
Campos vacíos, valores de relleno como "000000000" o "sin datos", y un mismo concepto escrito en formatos distintos.
Duplicados
Registros repetidos: tanto los idénticos como los que describen lo mismo con otras palabras, que son los más difíciles de detectar.
Datos inválidos
Correos y teléfonos que no existen, documentos identificativos con un dígito de control incorrecto, fechas imposibles y códigos postales que no corresponden al municipio.
Software e integraciones
Qué aplicaciones escriben cada dato y por dónde entra: formularios, importaciones o integraciones por API. Así se localiza el origen de cada error, no solo el error.
Datos personales almacenados
Qué datos personales se guardan, en qué sistemas y en qué campos. Es un inventario técnico: la valoración legal corresponde a la empresa y a su asesor de protección de datos.
El informe de la auditoría de datos
La auditoría termina en un informe. Corregir los datos e implantar los cambios es un paso posterior, que la empresa decide a partir del informe.
Cifras por fuente y por tipo de problema
Cuántos duplicados, cuántos registros incompletos o inválidos y cuántos formatos distintos hay en cada base de datos. Con cifras, para poder comparar más adelante.
El origen de cada error
Qué formulario, importación o integración lo provoca. Si solo se corrigen los datos y no el origen, el problema vuelve a aparecer.
Las fuentes de datos y sus responsables
Qué información existe, dónde se almacena y de dónde procede, con una propuesta de responsable para cada conjunto de datos.
Propuestas priorizadas
Qué se valida en la entrada, qué se limpia en los datos históricos y qué herramientas hacen falta, ordenado por impacto y por esfuerzo.
Cómo registrar países, direcciones, teléfonos y otros datos sin errores
La mayoría de los errores se evitan validando el dato o imponiendo su formato en el momento de registrarlo, cuando quien lo introduce todavía sabe cuál es el correcto. Más tarde hay que localizar el caso, y el error es más difícil de diagnosticar.
Países de un selector
El país se elige de una lista estándar, no se escribe. Así "España", "ES" y "Spain" dejan de ser tres países distintos.
Provincias y municipios de una lista
Se seleccionan según el país y el código postal, en lugar de escribirse libremente.
Direcciones con callejero
Calle, número, piso, código postal y municipio en campos separados, y la calle comprobada con una base de datos de calles. En un campo de texto libre no se puede agrupar por zona ni validar ningún dato.
Teléfonos con prefijo
Siempre en formato internacional (+34 600 000 000) y validados al introducirlos. Parece un detalle menor hasta que hay que cruzar dos bases de datos o enviar un SMS.
Correos verificados
Se comprueban el formato y la existencia del dominio. Si hace falta saber si el buzón existe, se contrata un servicio externo de verificación, con la autorización de la empresa.
Documentos identificativos
DNI, NIE y CIF validados con su dígito de control, sin que los datos salgan del servidor.
Fechas en un solo formato
Se introducen con un selector y se guardan en formato internacional (AAAA-MM-DD). Se ordenan sin ajustes y desaparece la duda de si 03/04 es marzo o abril.
Estados de una lista cerrada
"Pendiente", "En curso" y "Cerrado", elegidos siempre de una lista y no escritos a mano. Si cada persona los escribe a su manera, ningún informe por estado cuadra.
Nombre y apellidos por separado
Nombre, primer apellido y segundo apellido en campos distintos, siempre que sea posible. Permite ordenar, detectar duplicados y personalizar las comunicaciones sin errores.
Duplicados que no son idénticos
Duplicados exactos: fáciles de detectar
Dos registros con el mismo nombre y el mismo identificador los encuentra una consulta sencilla. No son el problema principal.
Duplicados con otras palabras: los difíciles
Dos entradas que describen exactamente la misma situación, pero una usa un término y la otra un sinónimo. Para el sistema son dos registros distintos; para quien los lee, es obvio que son uno.
Comparación por significado, con modelos ligeros de IA
Un modelo ligero convierte los textos en una representación de lo que significan y mide cuánto se parecen entre sí. Los que quedan muy cerca se marcan como posible duplicado. Funciona en un servidor privado, como una IA privada, sin enviar los datos a servicios externos.
Revisión siempre a cargo de una persona
El resultado es una lista para revisar, no un borrado. Un sistema que fusiona registros automáticamente acaba perdiendo información, y perderla es mucho peor que tenerla duplicada.
Limpiar los datos una vez no basta
En ocasiones no es posible añadir mecanismos de validación, porque no se dispone de acceso al código de los programas.
La limpieza puntual
Una persona dedica semanas a revisar registros manualmente. El resultado es bueno, pero no se vuelve a revisar. Mientras tanto, la causa de los duplicados y de los campos incompletos sigue activa, y la limpieza se acaba repitiendo, cada vez con más datos.
El control programado
Se puede desarrollar un proceso periódico que genere un informe breve con los posibles duplicados, los registros incompletos y los valores potencialmente inválidos.
La información de producto, centralizada en Pimcore
En los proyectos cuyo objetivo es organizar la información de producto utilizamos Pimcore. Así evitamos que una empresa tenga la ficha de un mismo producto, con datos diferentes, en varios sistemas a la vez.
Una fuente única para cada dato
Pimcore pasa a ser el sistema donde se mantiene cada ficha de producto, con sus documentos e imágenes en el mismo repositorio.
La web y las herramientas leen del PIM
La web, una web de alto rendimiento hecha con Astro, se sincroniza con el PIM. Y las herramientas desarrolladas a medida pueden hacer búsquedas y cálculos sobre los datos de producto, leyéndolos del PIM o de una copia sincronizada.
Por qué es gobierno del dato
Un PIM obliga a decidir qué datos tiene cada producto y cómo se estructuran, y registra quién los cambia. Es gobierno del dato con una herramienta que hace que se cumpla.
Cómo se realiza una auditoría de la calidad de los datos
Inventario de fuentes y software
Bases de datos, aplicaciones, hojas de cálculo, formularios e integraciones. Suele aparecer alguna fuente de datos que la dirección desconocía.
Medición de la calidad de los datos
Duplicados, datos inválidos, valores de relleno y formatos distintos, con cifras. Como orientación, el inventario y la medición requieren de cuatro a seis sesiones de consultoría, aunque depende del número de bases de datos y del volumen de datos.
Informe y propuesta de soluciones
Qué se valida en la entrada, qué se limpia en los datos históricos y qué herramientas hacen falta. Las reglas se acuerdan con la empresa: pocas y que se puedan cumplir. La auditoría puede terminar aquí.
Implantación de los cambios
Si la empresa lo decide: validaciones en los puntos de entrada, limpieza de los datos históricos, integraciones y revisiones programadas que avisan. A partir de ese momento, el mantenimiento consiste en revisar un informe breve cada mes.
Preguntas frecuentes sobre gobierno del dato
¿Qué tamaño de empresa necesita gobierno del dato?
¿El gobierno del dato obliga a cambiar de sistemas?
¿Necesitáis acceso a nuestras bases de datos?
¿Qué tiene que ver el gobierno del dato con el RGPD?
¿Cuánto dura una auditoría de la calidad de los datos?
¿Cuánto cuesta una auditoría de la calidad de los datos?
¿Cuadran los números de tus informes?
Cuéntanos qué sistemas utilizas y qué datos te generan dudas. En una primera conversación, gratuita, valoramos el alcance de la auditoría y si conviene hacerla antes de una migración o de un proyecto nuevo.