Une grille pour évaluer la qualité de vos données et choisir votre outil de D Q M

Transcription

1 DOSSIER BASES DE DONNEES PAR VIRGINIE GOASDOU~ (EDF R&D), SYLVAINE NUGIER (EDF R&D), BRIGITTE LABOISSE (AID) ET DOMINIQUE DUQUENNOY (AID) Une grie pour évauer a quaité de vos données et choisir votre outi de D Q M DQM pour Data Quaity Management. La quaité des données - particuièrement dans e CRM - est devenue un sujet de préoccupation pour es grandes entreprises. Outre 'augmentation des coûts de maintenance et de correction, a quaité de a reation avec es cients peut en pâtir, donnant une mauvaise image de a société ou perturbant ses décisions. On connaît 'exempe de M. Duponte, cient en doube dans une base, qui a notifié un opt'out signaé sur un seu des deux enregistrements : son doube continue donc à recevoir des emais. Par aieurs, ayant acheté d'abord des chaussures, puis des chaussettes, i est traité comme 2 cients mono produits... Mesurer a quaité de ses données, cea signifie connaître e taux d'erreurs et es risques qui en découent : Mesurer a quaité de ses données, cea Parmi es ogicies intégrant h a fois a et BDQS (BDQS). signifie connaître e taux d'erreurs et es gestion de a quaité des données, a Ces outis détectent es probhmes, es risques qui en découent expiquent dédupication et e profing, on peut mesurent et es gkrent. Virginie Gouasdoué (EDF R&D), citer Data Quaiity (Informatica), Que doit-on en attendre? Comment es Syvaine Nugier (EDF R&D), DataFux (SAS), Quaity Stage (IBM), comparer? Dominique Duquennoy (AID) et Brigitte Data Quaiity (Business Objects qui vient Nous aons tenter de répondre i ces deux Laboisse (MD). de racheter récemment Fuzzy Informatik), questions. 4 critères d'évauation de vos donndes Chez EDF, c'est e rôe de a direction qui concerne a Reation Cient, étant 2003, a direction avait R&D de suivre notamment es évoutions donné es voumes de données concernks déji mené une étude ce ogiciees. Ees met donc en pace des - qui se cacuent en terra-octets -, a sujet. Différentes procédures d'évaiuation et a déji évaué mutipicité des sources d'information, es catégories de personnes par exempe des ogicies de RNVP. En ce occasions d'erreurs sont mutipes. En ont kt6 interrogées : Viqinie ~ouardou

2 anaystes, fournisseurs, administrateurs décisionnaires... 4 critères d'évauation interviewés. fonctionnes, techniques, architectes, ont été pébiscités par a majorité des Les voici : Les 4 crithes sont a compétitude, I'exactitude, e degré de cohérence et a pertinence Opportunités d'amkioration Exactitude Pertinence j Un concept est-i manquant? Existe -t-i des données manquantes 1 dans une coonne, dans une tabe? Existe-t-i des données manquantes 1 par rapport A une popuation de référence?! Taux de vaeurs manquantes Distance entre a vaeur v et a vaeur j Nombre d'incidents (remontées v' considérée comme a représentation' campagnes marketing) exacte de a réaité dont v est / Comparaison avec a réaité (par e représentant j des questionnaires, par exempe) 1 Cacu du pouvoir de discrimina- Une donnée est cohérente si ee respecte une iste de contraintes La donnée est-ee utie pour a tâche? nation des erreurs par 'agorithme 1 de contrôe des conrraintes Achat de données externes et comparaison avec es données internes Extrapoation des données manquantes par modéisation statistique Contrôes de vraisembance Comparaison avec une autre source, pus fiabe Un questionnaire peut aider A améiorer 'adéquation des tâches panifiees pour faire progresser a quaité des données 1- Les probkmes de compétude La compétude concerne à a fois a donnée est une des dimensions très souvent EDF R&D a deveoppd et impdmenté des manquante dans une coonne (par exempe mesurée. Cea reste assez simpe si on s'en techniques de data mining pour extrapoer on regarde e taux de rempissage de a tient à une compétude «brute» (a vaeur es données manquantes. variabe «type d'activité» pour es sociétés est-ee manquante? (oui ou non). Un peu L'intérêt de cette méthode dans a base), mais égaement e taux de pus éaborée si on souhaite enever es est que chaque vaeur couverture de a base : nombre de sociétés vaeurs parasites ( à a pace estimée est fournie avec son dans a base par rapport au nombre de d'un numéro de tééphone ou de SIRET degré de précision. sociétés en France, par exempe. En quand a quaification a été faite par des commatière de bases marketing, a compétude merciaux récompensés par une «carotte»). Syvaine Nugier i\ 2- Les probémes d'exactitude Exactitude est souvent assimiée à termes de correction. procédures pus simpes et moins précision, fiabiité. Dans e cas d'un Car e contrôe nécessite des référenties compètes. Pour e tééphone, on va numéro de tééphone, a précision et externes ou une enquête pour vaider e simpement examiner a syntaxe du numéro I'exactitude sont équivaents. En pratique, nombre d'empoyés, a fonction, e nom du ou e vérifier dans un référentie (très I'exactitude est souvent difficie à mesurer contact.. Comme ces contrôes coûtent incompet maintenant avec es tééphones et peut générer des coûts importants en cher, is sont souvent rempacés par des mobies, es istes rouges,...).

3 3- Les pmbkmes de cohdrence Un facteur de cohérence est basé sur une mesurée mais définie comme une iste de contraintes, pour en déduire à contrario e rège : par exempe «a vie doit être une contraintes. On en mesure donc e taux de taux de données suspectes. vie française». Ee n'est donc pas données qui satisfont un ensembe de 4 Les probkmes de pertinence La pertinence correspond au degré d'utiité fait, is ont souvent 'impression que a 'utiisation de a donnée, de a donnée. Mais cette utiite n'est pas donnée est peu pertinente, puisqu'ee n'a est une dimension qui n'est toujours facie identifier. De pus, a pas d'intérêt pour eux. pas gérée par es outis, donnee disponibe n'est pas toujours A noter que contrairement?i a cohérence, quaité de données. adaptée aux besoins des utiisateurs. De ce a pertinence, si ee est un facteur cé pour Brigitte I.uboisse Le panorama des ogicies et comment nous avons travai6 La première génération d'outis quaité de données correspond?i des outis de nettoyage - normaisation d'adresses ou dédoubonnage. Puis ces 10 dernières années, se sont généraisés es ETLs, qui aimentent de manière optimisée et paramétrabe es b.d.d. Et rkcemment, certains éditeurs ont commencé?i offrir des ogicies dédiés a gestion de a quaité de donnees : DQM (Data Quaiity Management). Ces outis assutent une paiette de tâches : audit, profiage, structuration, normaisation, nettoyage et dédoubonnage. On a vu ensuite des editeurs d'en racheter des soutions pour éargir eur gamme : SAS (DataFux), Informatica (Data Quaiity), IBM (Quaity Stage) par exempe. - Le céébre Magic Quadrant du Gartner groupe prend en compte 6 facettes de a quaité de données : a standardisation, e nettoyage, e dedoubonnage, e profiage (profiing), a surveiance et I'enrichissement. De notre côté, es critères que nous avons retenus dans notre grie d'évauation ne sont pas originaux. Mais nous es avons enrichis et ddtaiib, afin de pouvoir es appiquer, sans arnbigùité. - Evidemment, ces critères sont adaptés au contexte de 'EDF, mais aussi pus généraiement un contexte CRM avec des données de consommation. Au-deà des critères iés à 'adresse, nous abordons des thèmes tes que a reconnaissance de 'individu, a reconnaissance de vaeurs aberrantes dans sa consommation ou es vaeurs manquantes en généra. - L'expérience de A.I.D. en tant que fournisseur de service a permis d'être une force de proposition en matière de critères a prendre en compte. - Et e h, nous avons centré nos efforts tout partidièrement sur es méthodes de mesure. Les Crithes gdnkraux prendre en compte pour hauer un outi de DQM Critères DC inition et contr6e de patterns Agorithmes spéciiques disponibes Simuation de fusion Que est e niveau de pattern obtenu : uniquement caractkrenumerique ou 'outi peut-i detecter par exempe que 20% des enregistrements ont un code qui commence systématiquement par 01X et ensuite comporte 3 chiffres de O à 4? Pour es emais par exempe : 'outi contrôe a syntaxe mais égaiement e domaine on ine (aid.fr ou edf.fr par exempe) Pendant une opération de migration, i peut êw intéressant de simuer a fusion de pusieurs sources de données et d'observer e rhutat en termes de quaité. On pourra ainsi modser es règes pour améiorer e r&utat. Les priorités sont, par expérience, es champs contenant 1- 'origine de a donnée 2- sa date 3- 'attribut quaité : par exempe, e code retour de a normaisation d'adresse ou e téephone vaidé recemment. a mi& du tabkau p. 8 7

4 Crithes Profiage Fonctions de nettoyage disponibes Gestion du temps échandon Anaiyse d'une base externe Meta Data ETL. Fonctions Découverte des données Unicode I faut que a corréation entre es variabes soit possibe. Carte d'identité de variabes numéri ues min, ma, moyenne, médiane,.. Carte d'identité de variabes A mod 2. ités i. fréquences par modaités 11 faut qu'i y ait une iste des fonctions disponibes (écatement civiité, nom, prénom),... faut pouvoir Faire des observations pour modéiser es vaeurs aberrantes ou figer un à un instant t et en suivre es modifications Peut-on faire du dédoubonnage, de a comparaison, de a simuation d'enrichissement avec une base externe? L'outi supporte-t-i e CWM (Common Warehouse Metadata from Object Management)? Est-i possibe de générer des reges pour un ETL? Leque? Méthode de prise en compte des reges par I'ETL Conviviaité de 'interface pour avoir une vue d'ensembe des données Support de I'Unicode Les critéres de débouonnage Critéres Le process de dedoubonnage est basé sur : Avec un match-code, 'objectif est de trouver des index qui permettent d'identifier es en- 1. Match-code ou 1 enregistrements en doube. Dans une zone donnée,, tous es enregistrements sont comparés 2 à 2 2. Une comparaison sur une wne de regroupement ou a commune INSEE ou es premières ettres du nom. Enfin chaque enregistrement est com- 3. Une fenêtre de tri paré aux n précédents, seon 'ordre de tri défini. La première méthode est a pus simpe à mettre en pace, car ee est gérée comme un i index. La seconde est a pus «gourmande» en ressources mais réeement efficace en BtoB. Le ogicie permet a transformation de données : ' La préparation de a donnée permet d'éviter par exempe de rapprocher des enregisuements majuscues, nettoyage des mots creux,.. parce qu'is contiennent SARL ou RUE, non significatifs dans a comparaison. I Liste des distances de comparaison disponibes : Edit Les distances disponibes sont un facteur cé pour comparer es outis. La présence de mé- &ce, Hammhg, Jaro... etou mwe pmbabiiistique thode probabiistique est un avantage, car cea permet de tenir compte de a fréquence j des mots et de ne pas traiter de a même manière 2 DUPONT et 2 GOASDOUE! Méthode de comparaison : par combinaisons 1 Nous observons 2 méthodes de comparaison : a combinaison de conditions par ETIOU ETIou pondération / ou 'affectation d'un poids. On peut faire e paraèe avec e scoring, à ceci près que h 1 tout est manue (en 'état des connaissances) et e roring manue, c'esr sportif. Ergonomie de 'interface pour manipuer es rdsutad Exempes de manipuation : visuaiser es doubes, compter es sources de données qui / provoquent e pus de doubes, fitrer pour anayser seon e niveau de proximité,.. "".i qu'un emai personnaisé comme syvaine.nugier@edf.fr i Les attributs quaité de donnh peuvent-is être u ' ' Par exempe, un emai générique du type (info@xxx.com) n'aura pas a même vaeur comme critères de dedoubonnage? Comment noter ces critères? On peut procéder de 2 manières pour noter chaque critère : 1- Mettre en pace des indicateurs sur es donnkes réees, par exempe a dktection de doubes sur une popuation. Cea a 'avantage de prendre en compte des données

5 de vaider a vaeur ajoutée de 'outi et de af& : 1- La wmphde du test avec 5 manques. 2- La àdité dy*n avec 3 tester e temps de réponse. cas de figure : e test a pu être raisé possibiités : e test est M e à mettre en oeuvre. 2- Ou des échantions témoins pour compètement. Partieement. Grâce à une II a nécessité des étapes intermh, des tester certains critères. Ces échantiions ont bnctionnaité du SGBD ou autre ogicie contoumements. I est r6dhibitoire. 3 La note 1 'avantage de présenter des cas variés et de externe. Le test n'a pas pu être réaisé mais bnctio~de : ee est attribuée seon e dsutat permettre de comparer rapidement 'attendu une 6voution ogiciee est prévue. Aucune des fichiers/ étaion*, par comparaison entre au résutat. En termes de notes 3 notes sont évoution n'est prévue pour paier e ou es 'attendu et e réaise, de a manière suivante : * Fichiers/eiaon düponibks chez AD ou EDF Hypothh La donnée est notée La donnée est notée Score cornecte incorrecte La donnée est trouvke correcte La donnée est troude incorrecte 1 Score = x1 + x4 x1 + *+x3+x4 La connexion au systkme d'information, e mode de dddoubonnage, I'intdgration à un ETL et 'interface on-ine : 4 crithes de choix discriminants Pour des raisons de confidentiaité, nous ne pouvons vous fournir es notes que nous avons obtenues. Toutefois, en 'état actue de nos travaux, nous pouvons indiquer es criteres que nous considérons comme discriminants. 1- a wmexion au système d'information : nous observons 2 écoes d'outis. La première consiste à se connecter directement aux bases de données et à procéder à des anayses «dans e fux )) sans base intermédiaire. La seconde écoe pratique par extraction des donnees et création d'une base temporaire d'anayse. Les 2 écoes ont chacune eurs défenseurs. Choisissez seon es temps de réponse et 'intégration au systkme de production. 2- e mode de dddoubomage : «tom es outih enfont», mais quand on entre dans e détai on observe des diwrences de techniques tres importantes. 3- L'intdgration à un ETL : sur e papier, a connexion existe mais attention : avec es rachats d'éditeurs, a connexion est parfois uniquement sur e papier... 4 Enfin, et pas e moins important, 'inter& on-ine : e contrôe on-ine est souvent disponibe à mvers des Web services, mais gare à a faciiité de mise en oeuvre et aux temps de réponse... En poussant pus oin nos trouverez pus de &tais sur dmnews. net PRESTATAIRES Pioter au pus juste e dimensionnement d'un Centre de Contact? C'est tout à fait possibe expique Thierry Vaaud, ie responsabe du data mining chez Socio Logicies. Seon une étude intéressante de I'Adetem, parue e 18 octobre ajoute-t-i, 12,9% des cients d'une marque sont susceptibes d'appeer un ca1 center dans es 12 mois, pour avoir des informations sur cee-ci, ses services ou ses produits. «En appiquant ce taux à a pénétration de a maque, on peut dimensionner un ca1 center «entrant» en e pondérant par a probabiité d'appe sur 12 mois gissants reprend-i. (a suite en page 12 ) Direct Marketing Nws octobre 2007