Unes dades fiables permetran automatitzacions amb decisions fiables
Governança de dades: auditoria de la qualitat de les dades
Revisem les bases de dades i les aplicacions de l'empresa, mesurem els duplicats, les dades no vàlides i els formats sense unificar, i lliurem un informe amb les solucions.
Quan comencen els problemes?
Quan els sistemes no controlen la qualitat de les dades
La majoria dels problemes de qualitat tenen el mateix origen: camps amb massa llibertat, que cada persona omple amb el seu propi criteri. Un mateix client apareix amb tres noms diferents, una província s'escriu de quatre maneres i els estats s'anoten a mà. Quan s'obté un llistat, s'agrupa per zona o es creuen dos sistemes, les xifres no quadren i ningú no sap quina és la correcta.
La governança de dades (data governance) és decidir qui és responsable de cada conjunt d'informació, com es registra, què es valida a l'entrada i amb quina freqüència es revisa. A la pràctica, es tracta de substituir aquesta llibertat per un criteri fix: llistes tancades, formats únics i validacions.
L'auditoria és el punt de partida: mesura l'estat actual de les dades i proposa les regles i les eines per corregir-lo. Les regles s'acorden amb l'empresa; les eines fan que es compleixin.
Habitualment, les migracions i els desenvolupaments requereixen processos de neteja i d'unificació de dades. També es pot encarregar només l'auditoria: acaba en un informe, sense corregir dades ni implantar canvis.
Quan convé revisar la qualitat de les dades?
Disposar de dades fiables és la base de qualsevol digitalització
Abans d'una migració
Si les dades es migren tal com estan, els duplicats i els errors passen al sistema nou. La migració obliga a definir formats i correspondències entre camps: és el millor moment per corregir-los.
En integrar una eina de BI
Un quadre de comandament mostra les dades tal com estan. Si un mateix concepte es registra de diverses maneres, els gràfics reparteixen les xifres entre categories que en realitat són la mateixa, i els totals no coincideixen amb els d'altres informes. Abans d'implantar una eina de business intelligence, convé revisar les dades amb què s'alimenta.
En implantar un ERP, un CRM o un PIM
El sistema nou té els seus propis formats i validacions, i les dades anteriors els han de complir. Convé saber abans quantes no els compleixen i per què.
Abans d'automatitzar o d'un projecte d'IA
Les automatitzacions i la intel·ligència artificial hereten les dades: si estan duplicades o incompletes, els resultats també ho estaran, i es presentaran com a certs.
En unificar diverses fonts
Fulls de càlcul, una base de dades antiga i un programa nou amb la mateixa informació. Abans d'unificar-la cal saber quina versió de cada dada és la correcta.
Encara que no hi hagi cap projecte previst
Tenir la informació ben organitzada facilita qualsevol digitalització futura: cada integració, automatització o aplicació nova parteix d'aquestes dades.
Què revisa una auditoria de la qualitat de les dades
Estructura de les bases de dades
Taules, camps, tipus de dades i relacions. Camps de text lliure on hi hauria d'haver una llista tancada, i camps que haurien de ser obligatoris i no ho són.
Valors emmagatzemats
Camps buits, valors de farciment com ara "000000000" o "sense dades", i un mateix concepte escrit en formats diferents.
Duplicats
Registres repetits: tant els idèntics com els que descriuen el mateix amb altres paraules, que són els més difícils de detectar.
Dades no vàlides
Correus i telèfons que no existeixen, documents identificatius amb un dígit de control incorrecte, dates impossibles i codis postals que no corresponen al municipi.
Software i integracions
Quines aplicacions escriuen cada dada i per on entra: formularis, importacions o integracions per API. Així es localitza l'origen de cada error, no només l'error.
Dades personals emmagatzemades
Quines dades personals es guarden, en quins sistemes i en quins camps. És un inventari tècnic: la valoració legal correspon a l'empresa i al seu assessor de protecció de dades.
L'informe de l'auditoria de dades
L'auditoria acaba en un informe. Corregir les dades i implantar els canvis és un pas posterior, que l'empresa decideix a partir de l'informe.
Xifres per font i per tipus de problema
Quants duplicats, quants registres incomplets o no vàlids i quants formats diferents hi ha a cada base de dades. Amb xifres, per poder comparar més endavant.
L'origen de cada error
Quin formulari, importació o integració el provoca. Si només es corregeixen les dades i no l'origen, el problema torna a aparèixer.
Les fonts de dades i els seus responsables
Quina informació hi ha, on s'emmagatzema i d'on prové, amb una proposta de responsable per a cada conjunt de dades.
Propostes prioritzades
Què es valida a l'entrada, què es neteja de les dades històriques i quines eines calen, ordenat per impacte i per esforç.
Com registrar països, adreces, telèfons i altres dades sense errors
La majoria dels errors s'eviten validant la dada o imposant-ne el format en el moment de registrar-la, quan qui la introdueix encara sap quina és la correcta. Més endavant cal localitzar el cas, i l'error és més difícil de diagnosticar.
Països d'un selector
El país s'escull d'una llista estàndard, no s'escriu. Així "Espanya", "ES" i "Spain" deixen de ser tres països diferents.
Províncies i municipis d'una llista
Es seleccionen segons el país i el codi postal, en lloc d'escriure's lliurement.
Adreces amb carrerer
Carrer, número, pis, codi postal i municipi en camps separats, i el carrer comprovat amb una base de dades de carrers. En un camp de text lliure no es pot agrupar per zona ni validar cap dada.
Telèfons amb prefix
Sempre en format internacional (+34 600 000 000) i validats en introduir-los. Sembla un detall menor fins que cal creuar dues bases de dades o enviar un SMS.
Correus verificats
Es comproven el format i l'existència del domini. Si cal saber si la bústia existeix, es contracta un servei extern de verificació, amb l'autorització de l'empresa.
Documents identificatius
DNI, NIE i CIF validats amb el dígit de control, sense que les dades surtin del servidor.
Dates en un sol format
S'introdueixen amb un selector i es desen en format internacional (AAAA-MM-DD). S'ordenen sense ajustos i desapareix el dubte de si 03/04 és març o abril.
Estats d'una llista tancada
"Pendent", "En curs" i "Tancat", escollits sempre d'una llista i no escrits a mà. Si cada persona els escriu a la seva manera, cap informe per estat no quadra.
Nom i cognoms per separat
Nom, primer cognom i segon cognom en camps diferents, sempre que sigui possible. Permet ordenar, detectar duplicats i personalitzar les comunicacions sense errors.
Duplicats que no són idèntics
Duplicats exactes: fàcils de detectar
Dos registres amb el mateix nom i el mateix identificador els troba una consulta senzilla. No són el problema principal.
Duplicats amb altres paraules: els difícils
Dues entrades que descriuen exactament la mateixa situació, però una fa servir un terme i l'altra, un sinònim. Per al sistema són dos registres diferents; per a qui els llegeix, és obvi que són el mateix.
Comparació per significat, amb models lleugers d'IA
Un model lleuger converteix els textos en una representació del que signifiquen i mesura quant s'assemblen entre si. Els que queden molt a prop es marquen com a possible duplicat. Funciona en un servidor privat, com una IA privada, sense enviar les dades a serveis externs.
Revisió sempre a càrrec d'una persona
El resultat és una llista per revisar, no un esborrament. Un sistema que fusiona registres automàticament acaba perdent informació, i perdre-la és molt pitjor que tenir-la duplicada.
Netejar les dades una vegada no basta
De vegades no és possible afegir mecanismes de validació, perquè no es té accés al codi dels programes.
La neteja puntual
Una persona dedica setmanes a revisar registres manualment. El resultat és bo, però no es torna a revisar. Mentrestant, la causa dels duplicats i dels camps incomplets continua activa, i la neteja s'acaba repetint, cada vegada amb més dades.
El control programat
Es pot desenvolupar un procés periòdic que generi un informe breu amb els possibles duplicats, els registres incomplets i els valors potencialment no vàlids.
La informació de producte, centralitzada a Pimcore
En els projectes que tenen com a objectiu organitzar la informació de producte fem servir Pimcore. Així evitem que una empresa tingui la fitxa d'un mateix producte, amb dades diferents, en diversos sistemes alhora.
Una font única per a cada dada
Pimcore passa a ser el sistema on es manté cada fitxa de producte, amb els documents i les imatges al mateix repositori.
La web i les eines llegeixen del PIM
La web, una web d'alt rendiment feta amb Astro, es sincronitza amb el PIM. I les eines desenvolupades a mida poden fer cerques i càlculs sobre les dades de producte, llegint-les del PIM o d'una còpia sincronitzada.
Per què és governança de dades
Un PIM obliga a decidir quines dades té cada producte i com s'estructuren, i registra qui les canvia. És governança de dades amb una eina que fa que es compleixi.
Com es fa una auditoria de la qualitat de les dades
Inventari de fonts i software
Bases de dades, aplicacions, fulls de càlcul, formularis i integracions. Sol aparèixer alguna font de dades que la direcció desconeixia.
Mesura de la qualitat de les dades
Duplicats, dades no vàlides, valors de farciment i formats diferents, amb xifres. Com a orientació, l'inventari i la mesura requereixen de quatre a sis sessions de consultoria, tot i que depèn del nombre de bases de dades i del volum de dades.
Informe i proposta de solucions
Què es valida a l'entrada, què es neteja de les dades històriques i quines eines calen. Les regles s'acorden amb l'empresa: poques i que es puguin complir. L'auditoria pot acabar aquí.
Implantació dels canvis
Si l'empresa ho decideix: validacions als punts d'entrada, neteja de les dades històriques, integracions i revisions programades que avisen. A partir d'aquest moment, el manteniment consisteix a revisar un informe breu cada mes.
Preguntes freqüents sobre governança de dades
Quina mida d'empresa necessita governança de dades?
La governança de dades obliga a canviar de sistemes?
Necessiteu accés a les nostres bases de dades?
Què té a veure la governança de dades amb l'RGPD?
Quant dura una auditoria de la qualitat de les dades?
Quant costa una auditoria de la qualitat de les dades?
Quadren les xifres dels teus informes?
Explica'ns quins sistemes fas servir i quines dades et generen dubtes. En una primera conversa, gratuïta, valorem l'abast de l'auditoria i si convé fer-la abans d'una migració o d'un projecte nou.