à base d Ingénierie des Données Dirigée par les Modèles «La modélisation est au développement informatique ce qu est le solfège à la musique : pour le compositeur un moyen d exprimer dans ses créations toutes les nuances de ses sentiments, pour le chef d orchestre la définition d une œuvre à diriger subtilement pour en dégager l harmonie, pour l instrumentiste ou soliste la description de ce qu il doit interpréter avec toute sa sensibilité, pour les initiés un moyen de communication pour se comprendre dans le temps et l espace, pour les musiciens amateurs un formalisme dont ils pensent pouvoir se passer aisément, pour les profanes une «terra incognita» à explorer pour ses richesses insoupçonnées.» Vincent Ciselet (Ingénieur), Jean Henrard (Ph. D.), Jean-Marc Hick (Ph. D.), Frumence Mayala (Ingénieur), Christophe Mouchet (Ingénieur), Dominique Orban (Ingénieur), Didier Roland (Ph.D.)
SOMMAIRE Le document intitulé «Gouvernance des Données : apport de l Ingénierie des Données Dirigée par les Modèles» (voir http://www.rever.eu/white-papers/methodesiddm-fr.pdf) montre qu en considérant les données comme un «écosystème», en proposant des fonctionnalités innovantes telles que la cogénération, la coévolution et la comparaison d écosystèmes, une démarche d Ingénierie des Données Dirigée par les Modèles (IDDM) contribue aux objectifs de la gouvernance des données. En particulier, il illustre qu outre le maintien permanent de la cohérence de l écosystème, l approche IDDM réalise le lien entre : les exigences stratégiques de la gouvernance exprimées par le «métier» à savoir : o définir des Systèmes d Informations (S.I.) (création de bases de données) ; o évaluer les S.I. existants (qualité des données, qualité des bases de données, risques, ) ; o faire évoluer les S.I. (maintenances évolutives, migrations de bases de données, ) ; o utiliser et réutiliser les données existantes (migration/intégration de données, échanges, extractions, ) les méthodes à appliquer choisies par le service informatique ; les outils opérationnels indispensables aux intervenants s pour la réalisation des projets. Il va de soi que les méthodes et l approche décrite doivent être supportées par des solutions s opérationnelles. Afin d éviter tout malentendu, par «solutions s» il faut comprendre qu il s agit soit de logiciels «exécutable» directement, soit de «suites» logicielles composés de plusieurs exécutables qu il convient d utiliser au fur et à mesure du déroulement du projet. Le présent document s adresse aux responsables et aux praticiens en charge de la réalisation de projets s inscrivant dans le cadre de la gouvernance des données et a pour but d expliciter les solutions s permettant d appliquer les méthodes d IDDM. Pour des raisons de clarté et de lisibilité, ce document est structuré de la manière que le document décrivant les méthodes. La page 4 de ce document fourni un tableau établissant les liens entre les types de projets, les méthodes et les solutions s à appliquer. Chacune des solutions s est présentée sous la forme d un tableau reprenant : le de la solution ; la ou les de la solution ; les s s supportés en terme de, de et de Systèmes Opératoires (OS) ; le type d outil et son degré ; la liste des résultats. Il va de soi que pour la réalisation d un projet spécifique la solution est «packagée» en fonction des spécificités organisationnelles, méthodologiques et des s technologiques du projet. Les succès incontestables rencontrés projet après projet par l utilisation des solutions s exposées dans ce document démontrent leur pertinence et leur efficacité. Adoptées par bre de grandes organisations et d intégrateurs, elles sont utilisées dans une grande diversité de projets, d s s et organisationnels. Ces solutions offrent à leurs utilisateurs : des résultats de très haute qualité professionnelle ; une réduction drastique des risques s des projets grâce à la maîtrise de tous les composants de l écosystème ; une réduction très importante de la durée et des charges de travail des projets provenant d une très forte automatisation des processus ; le maintien permanent du lien entre «métier» et «IT» garant d évolutions sereines et de la pérennité des investissements. Page 2
TABLE DES MATIÈRES 1 DÉFINIR... 5 1.1 PLATEFORME DE MODÉLISATION... 5 1.2 DÉVELOPPER... 5 2 ÉVALUER... 6 2.1 COMPRENDRE... 6 2.2 MESURER... 7 2.2.1 QUALITÉ DES DONNÉES... 7 2.2.2 QUALITÉ DES BASES DE DONNÉES... 7 2.2.3 RISQUES PROGRAMMES-BASES DE DONNÉES... 7 3 ÉVOLUER... 8 3.1 MODIFIER... 8 3.2 MODERNISER... 8 3.3 COÉVOLUTION... 9 4 RÉUTILISER... 10 4.1 EXPORTER... 10 4.1.1 ÉPURATION... 10 4.1.2 JEUX DE TESTS... 10 4.2 IMPORTER... 11 5 PERSPECTIVES DE L IDDM... 12 5.1 AMÉLIORATION DES INTERFACES HOMMES-MACHINES... 12 5.2 COUPLAGE AVEC D AUTRES SYSTÈMES DE MODÉLISATION... 12 5.2.1 RÉCEPTION D APPLICATIONS... 12 Page 3
INDEX THÉMATIQUE Le but du tableau ci-dessous est de permettre d identifier le ou les produit(s) nécessaire(s) pour la réalisation d un projet. Pour chaque type de projet ce tableau renvois d une part aux méthodes et exemples donnés dans le document méthodologique (voir http://www.rever.eu/white-papers/methodesiddm- FR.pdf) et d autre part aux différentes solutions décrites dans ce document. TYPE DE PROJET RÉFÉRENCES méthodes (http://www.rever.eu/white- papers/methodesiddm- FR.pdf) solutions s Archivage de données exporter 4.1 épuration 4.1.1 Compréhension d applications Développement de nouvelles applications développer 1.2 Évaluation de systèmes d informations risques programmes-bd 2.2.3 Échanges de données exporter 4.1 Extraction de jeux de données exporter 4.1 jeux de tests 4.1.2 Fusion de bases de données (création d une méta BD reprenant les structures et les données de plusieurs BD) moderniser 3.2 Intégration de données (injection dans une BD existante et/ou un progiciel de données provenant d une ou de plusieurs BD) importer 4.2 Maintenances évolutives modifier 3.1 coévolution 3.3 Migration de bases de données (changement de ) moderniser 3.2 Migration de données (injection dans une BD existante et/ou un progiciel de données provenant d une ou de plusieurs BD) Qualité des bases de données Qualité des données Réécriture d application Rétro-documentation Rétro-ingénierie exporter 4.1 importer 4.2 qualité BD 2.2.2 qualité des données 2.2.1 développer 1.2 importer 4.2 couplage 5.2 couplage 5.2 Page 4
1 Définir 1.1 Plateforme de modélisation Nom Fonctions Langag es Livrables DB-MAIN plateforme interactive de modélisation logiciel, 100% 1.2 Développer Nom Fonctions langage s Livrables DEASY cogénération des structures de base de données, des modules d accès, d une interface d édition les relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, ORACLE, SQL Server, SQLite, Dans la version standard, les codes sources des MAM sont en JAVA et utilisent JDBC. Une version pour «.NET» sera disponible prochainement. Des versions intégrant des ORM (Hibernate, Mybatis ), EJB ou des «Web Services» sont prévues. D autres (C, COBOL, ) sont possibles sur demande L application d édition des données générée par DB-CSAM génère des «servlets» avec des actions JSP (Jetty, Apache Tomcat ). suite logicielle, 100% modèle, modèle «métier», script de création de la BD, codes sources des modules d accès «métier», codes sources interfaces d édition Page 5
2 Évaluer 2.1 Comprendre La méthodologie exposée permet de définir la précision (granularité) des modèles en fonction des besoins et des objectifs du projet. Les suites logicielles décrites ici suivent point par point les trois premières étapes de la méthodologie exposée sous le titre «comprendre». Dès lors, chacun des tableaux ne reprend que les informations qui concernent l étape dans laquelle il intervient : les résultats obtenus sont cumulatifs. DB-RETRO étape 1 rétro-ingénierie des structures bases de données Fichiers : ISAM, VSAM, UFAS, GFRC, LEASY, hiérarchiques : IMS, réseaux : IDS2, IDMS, pré-relationnels : ADABAS, DATACOM, relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, gcos8, gcos7, bs2000, z/os, as400, solaris, unix, ms-window, suite logicielle, 100% modèle physique, validation des données, modèle logique (=modèle physique), modèle conceptuel (=modèle physique) DB-RETRO étape 2 livrable rétro-ingénierie des structures bases de données et des déclarations explicites dans les programmes COBOL, PLI, RPG, MANTIS, C/C++, JAVA, VISUAL-BASIC, suite logicielle, 80% modèle physique enrichi, validation des données, dépendances donnéesprogrammes, dépendances programmes-programmes, cartographie, risques programmes-bd, modèle logique (=modèle physique enrichi), modèle conceptuel (=modèle physique enrichi) Page 6 DB-RETRO étape 3 livrable rétro-ingénierie des structures bases de données, des déclarations explicites et implicites dans les programmes COBOL, PLI, suite logicielle, 80% modèle logique complet, validation des données, modèle conceptuel
2.2 Mesurer 2.2.1 Qualité des données Les mesures de la conformité des données aux règles définies dans un modèle sont un des résultats fournis en standard dans le cadre du processus de compréhension des S.I (étape 4). Toutefois, il existe une suite logicielle qui reprend les fonctionnalités de la mesure de la qualité des données telles que décrites dans l exemple. DB-QUALITY gestion des mesures de la conformité des données aux règles Fichiers : ISAM, VSAM, UFAS, GFRC, LEASY, hiérarchiques : IMS, réseaux : IDS2, IDMS, pré-relationnels : ADABAS, DATACOM, relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, COBOL, PLI, RPG, MANTIS, C/C++, JAVA, VISUAL-BASIC, gcos8, gcos7, bs2000, z/os, as400, solaris, unix, ms-window, suite logicielle, 85% rapport de «non-conformité», liste des programmes concernés (option), liste des impacts «métier» (option), évolutions de la qualité des données 2.2.2 Qualité des bases de données Les statistiques de structures de la BD sont un des résultats fournis en standard avec l analyse à l étape 1 de la compréhension des S.I. 2.2.3 Risques programmes-bases de données Les risques programmes-bd sont un des résultats fournis en standard avec l analyse à l étape 2 de la compréhension des S.I. Page 7
3 Évoluer 3.1 Modifier modifications des structures et/ou règles données gérées par le relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, z/os, solaris, unix, ms-window, suite logicielle, 50% contrôle des compatibilités, script de modification de la BD 3.2 Moderniser DB-MIGRATION migration de base de données relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, COBOL, PLI, RPG, MANTIS, C/C++, JAVA, VISUAL-BASIC, z/os, solaris, unix, ms-window, suite logicielle, 70% script de création de la BD ; codes sources des programmes de déchargement, script de chargement, validation de la migration des données, codes sources des accesseurs, codes sources des programmes applicatifs adaptés, générateur d accesseur pour évolutions ultérieures Page 8
3.3 Coévolution DEASY-EVOLVE coévolution des structures de base de données, des modules d accès, d une interface d édition les relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, ORACLE, SQL Server, SQLite, Dans la version standard, les codes sources des MAM sont en JAVA et utilisent JDBC. Une version pour «.NET» sera disponible prochainement. Des versions intégrant des ORM (Hibernate, Mybatis ), EJB ou des «Web Services» sont prévues. D autres (C, COBOL, ) sont possibles sur demande L application d édition des données générée par DB-CSAM génère des «servlets» avec des actions JSP (Jetty, Apache Tomcat ). suite logicielle, 100% (disponible fin 2011) modèle [V(N+1)], migration des modèles «métier» [V(N)] V(N+1)], contrôle des compatibilités [V(N) V(N+1)], script de modification de la BD [V(N) V(N+1)] et/ou de création de la BD [V(N+1)], script de transformation des données [V(N)] V(N+1)] et/ou script de migrations des données [V(N)] V(N+1)], codes sources des modules d accès «métier» [V(N+1)], liste des MAM modifiés, codes sources interfaces d édition [V(N+1)] Page 9
4 Réutiliser 4.1 Exporter DB-EXPORT exportation de données suivant une logique «métier» Fichiers : ISAM, VSAM, UFAS, GFRC, LEASY, hiérarchiques : IMS, réseaux : IDS2, IDMS, pré-relationnels : ADABAS, DATACOM, relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, suite logicielle, 70% pour tous les «non relationnels», 100% fin 2011 pour les «relationnels» valeurs des données extraites 4.1.1 Épuration DB-EPURE suppression des données relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, sur demande codes sources des programmes de suppression des données 4.1.2 Jeux de tests DB-TESTS construction de base de données «réduites», anonymisation des données relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, disponible fin 2011 Page 10
base réduite, données anonymisées 4.2 Importer DB-IMPORT exportation de données suivant une logique «métier» relationnels : DB2, MS-ACCESS, MySQL, PostgreSQL, suite logicielle, 40% listes des incompatibilités, codes sources des programmes de migration, codes sources des processus de validation de la migration Page 11
5 Perspectives de l IDDM 5.1 Amélioration des interfaces hommes-machines Disponibilité prévue courant 2012 5.2 Couplage avec d autres systèmes de modélisation 5.2.1 réception d applications Disponibilité prévue fin 2012 Page 12