INTRODUCTION AUX METHODES D INGENIERIE DES DONNEES DIRIGEE PAR LES MODELES Les contenus de ce document sont la propriété exclusive de la société REVER. Ils ne sont transmis qu à titre d information et ne peuvent en aucun cas être considérés comme un engagement de la société REVER. Toutes utilisations, en ce compris le référencement, de la totalité ou d une partie de ce document, ne sont autorisées qu avec l accord formel et écrit de REVER. REVER S.A. Belgique Tél : +32 71 20 71 61 http://www.rever.eu
La documentation de REVER est structurée sur trois niveaux qui se superposent hiérarchiquement comme le représente le schéma ci-dessous : le premier niveau décrit les technologies de base de REVER et explique le fonctionnement des outils ; le deuxième niveau décrit les méthodes de REVER à suivre pour une utilisation optimale des technologies ; le troisième niveau décrit les solutions de REVER pour répondre aux besoins des clients. Un document de niveau «i» peut faire référence à un ou plusieurs documents de niveaux inférieurs : il est vivement conseillé au lecteur d en prendre connaissance pour avoir une compréhension correcte du document. Afin de rendre les explications plus claires, il est fait un usage régulier de schéma et de couleur. Il est recommandé pour une lecture aisée des documents de les imprimer en couleur. Par cette démarche structurée, REVER poursuit un double objectif : rendre la lecture de la documentation de REVER plus aisée en séparant clairement les différents éléments constitutifs des propositions de REVER ; permettre aux lecteurs de mieux appréhender les aspects innovants des propositions de REVER, en les abordant, soit dans une lecture «top-down» (de la «solution» à la «technologie»), soit dans une lecture «bottom-up» (de la «technologie» à la solution). Le premier type de lecture correspond à une approche de compréhension du «comment» les méthodes et outils de REVER permettent la réalisation de solutions qui semblent à priori complexes, voire impossibles. Le second type de lecture correspond à une démarche de «constructeur de maison» : le premier niveau décrit les matériaux de base, le second niveau explique comment les différents matériaux sont utilisés pour construire des «murs» et, enfin, le troisième niveau définit les architectures de «maisons» possibles. Service Marketing 29/04/2008 REVER-ME00 Page 2 / 12
Quelque soit l approche, l équipe de rédaction souhaite que ces documents apportent les éléments d information attendus. Service Marketing 29/04/2008 REVER-ME00 Page 3 / 12
Table des matières 1 Description générale... 5 1.1Ingénierie Dirigée par les Modèles... 5 1.2Intérêt de la démarche d Ingénierie Dirigée par les Modèles... 6 1.3Méthode projet... 7 2Description détaillée... 8 2.1Création des modèles... 8 2.2Reconstruction des modèles... 8 2.3Utilisation des modèles sans évolution... 10 2.4Utilisation des modèles pour les évolutions... 11 Service Marketing 29/04/2008 REVER-ME00 Page 4 / 12
1 Description générale Les activités de REVER sont fondées sur une approche d Ingénierie Dirigée par les Modèles (IDM) appliquées aux systèmes d information : l Ingénierie des Données Dirigées par les Modèles (IDDM). Rappelons que pour la représentation des systèmes d informations, il existe trois niveaux de modèles : le modèle «conceptuel ou sémantique», qui est une description du système d information de l application, tel que le voit les utilisateurs «métiers». Ce modèle est, par nature, indépendant de toutes technologies et contient, outre la description des données et de leurs structures, les «règles données», c est-à-dire les règles de gestion «métier» qui dépendent directement du système d information telles que les contraintes référentielles, les plages de valeurs, les dépendances entre données, ; le modèle «logique», qui prend en compte les règles générales liées au type de SGBD utilisé. Le modèle logique est donc dépendant d un type de SGBD (fichier plat, base de données hiérarchique, base de données relationnelle, ) ; le modèle physique, qui prend en compte les règles imposées par un produit particulier (VSAM, IMS, ORACLE, ) pour l implémentation du système d information sur une plateforme technique définie. Bien que dans la réalité courante des activités informatiques les modèles ci-dessus soient rarement explicités, ils sont néanmoins présents et leur formalisation permet la représentation d objets «données» réels à savoir : les contenants : les structures (entités) qui contiennent les données ; les règles (relations, contraintes, ) qui régissent le comportement des données ; les contenus : les valeurs des données. 1.1 Ingénierie Dirigée par les Modèles L approche d Ingénierie des Données Dirigée par les Modèles proposée par REVER utilise une définition formelle de ces modèles. C est pour répondre à cette exigence que les méthodes développées par REVER permettent, dans un premier temps, d élaborer les modèles (partie gauche du schéma ci-dessous) : soit par un processus de création ex-nihilo ; soit par un processus de reconstruction à partir des éléments techniques existants. Une fois les modèles élaborés, les modèles sont «exploitables» (partie droite du schéma) pour produire une très large palette de résultats, fonction des besoins des utilisateurs. Service Marketing 29/04/2008 REVER-ME00 Page 5 / 12
En terme méthodologique, l obtention de ces résultats est dépendante de deux scénarii fondamentaux, à savoir : une utilisation des modèles sans qu ils ne doivent évoluer ; une utilisation des modèles lorsqu ils doivent évoluer. L attention est attirée sur le fait que «l évolution» des modèles est une conséquence de la volonté de faire évoluer les objets réels que les modèles représentent. A l image de la girouette qui est le signe visible du changement de la direction du vent, l évolution des modèles est le signe visible des évolutions des éléments constitutifs du système d information. 1.2 Intérêt de la démarche d Ingénierie Dirigée par les Modèles Les méthodologies utilisées par REVER pour répondre aux différents points évoqués cidessus sont brièvement décrites dans la suite de ce document, et plus longuement dans d autres documents décrivant les méthodes de REVER. De manière générale, et d un point de vue technique, une démarche IDM présente les avantages suivants : une maîtrise de la complexité des éléments techniques existant ; une indépendance maximale vis-à-vis des plateformes technologiques ; une production plus rapide des résultats techniques au travers de «l affinement» des modèles dans des processus itératifs de mise au point ; Service Marketing 29/04/2008 REVER-ME00 Page 6 / 12
une amélioration de la communication au sein de l organisation, la modélisation rencontrant la nécessité d une référence commune non ambiguë pour permettre un dialogue efficace entre les différents intervenants. 1.3 Méthode projet Pour réaliser les projets qui leur sont confiés les experts de REVER s appuient sur des méthodes de gestion de projet rigoureuses, garantissant la bonne fin des travaux. Tout projet débute par une phase préparatoire qui détermine notamment : les objectifs du projet, sa portée et ses limites ; l organisation du projet, les rôles et les responsabilités des intervenants ; le découpage en phases et les livrables qui les accompagnent ; les règles «qualité» à respecter et les critères de validation des résultats ; les délais et plannings ; les budgets. La gestion du projet est confiée à un chef de projet, interlocuteur privilégié du client et garant de la bonne compréhension de ses besoins, de la conformité qualitative et quantitative de la réponse à ses attentes dans le respect des délais et des budgets impartis. Les chefs de projets sont placés sous l autorité directe de la direction de REVER à laquelle ils rendent compte de leurs activités. Pour la réalisation des opérations techniques, les outils et méthodes utilisés par REVER permettent d avoir une connaissance détaillée de tous les éléments techniques existants. Une telle connaissance : diminue drastiquement les risques techniques du projet ; permet l identification rapide de «lots» favorisant la réalisation du projet dans un processus itératif progressif commençant par un lot «pilote». A titre d exemple le schéma ci-dessous décrit le processus suivi pour un projet de «migration» d une base de données : la partie supérieur indique les processus suivi, la partie inférieur les livrables. Ce processus débute par un «proof of concept» suivi de la rétro-ingénierie du système source et de la re-ingénierie de la base source pour produire la base cible : les livrables sont le référentiel, le plan de lotissement, la documentation et les générateurs. Ensuite chacun des lots est exécuté en suivant un processus identique qui produit les mêmes livrables. Service Marketing 29/04/2008 REVER-ME00 Page 7 / 12
2 Description détaillée 2.1 Création des modèles Pour la création des modèles, REVER propose son outil de modélisation DB-MAIN qui permet de définir les trois niveaux de modélisation de données décrits précédemment. Les fonctionnalités implémentées dans DB-MAIN conservent, à chaque étape du processus de construction des modèles, la sémantique du système d information, ce qui garantit que la base de données implémentée est strictement conforme aux exigences et aux règles définies par les modèles. On notera que, pour chacun des niveaux, les modèles intègrent l ensemble des informations nécessaires et, en particulier, les règles qui régissent les données (contraintes d intégrité, référentielles, de valeurs, etc ). L outil DB-MAIN est méthodologiquement neutre, c est-à-dire qu il n impose aucune méthode particulière. Par contre, il possède un moteur méthodologique, doté d un langage spécifique de description de méthodes, offrant ainsi à l utilisateur la possibilité de définir sa méthode personnelle. Des descriptions plus détaillées de DB-MAIN sont données dans le document intitulé «DB-MAIN» ainsi que dans le manuel de référence disponible sur le site Internet de DB- MAIN (http://www.db-main.eu). 2.2 Reconstruction des modèles En l absence de modèle, REVER propose de les reconstruire. Cette reconstruction peut se faire suivant trois méthodes : une reconstruction manuelle, à partir de la documentation et de l expertise existante ; une reconstruction en important, dans le référentiel de DB-MAIN, les informations contenues dans un autre référentiel ; une reconstruction automatique au moyen de processus d analyse de l ensemble des éléments techniques existants codes «sources données» (DDL, copybook, triggers, DB-procedure,...) codes «sources» procéduraux (programmes applicatifs, JCL, ) données contenues dans les bases de données ; Service Marketing 29/04/2008 REVER-ME00 Page 8 / 12
En pratique, il existe trois niveaux de qualité de résultats dans un processus de reconstruction de modèles de données. Ces niveaux qualitatifs sont dépendants de la granularité nécessaire pour répondre aux besoins des utilisateurs. Le tableau ci-dessous indique les différents niveaux qualitatifs de modèle possibles ainsi que les analyses nécessaires pour atteindre le niveau souhaité. Service Marketing 29/04/2008 REVER-ME00 Page 9 / 12
Les modèles «résultats» de la reconstruction sont enregistrés dans DB-MAIN, de la même manière que s ils avaient été créés. Une description plus détaillée du processus de reconstruction automatique est donnée dans le document intitulé «rétro-ingénierie des bases de données». 2.3 Utilisation des modèles sans évolution Dans une démarche d Ingénierie Dirigée par les Modèles, il existe deux types principaux d utilisation des modèles : les utilisations «directes», dont l objectif est de produire des résultats à partir du contenu du référentiel de DB-MAIN (par exemple les DDL, la documentation) ; des utilisations «indirectes», dont l objectif est de produire le code source de programmes qui agiront sur la base de données (par exemple un extracteur de données). L intérêt majeur de cette démarche est qu elle permet de raccourcir considérablement le temps de mise au point des programmes dans la mesure où, en cas d erreur, il convient d ajuster, soit le modèle, soit le générateur, mais en aucun cas de modifier les programmes générés. Service Marketing 29/04/2008 REVER-ME00 Page 10 / 12
Les utilisations directes, ou indirectes, des modèles sont exclusivement basées sur les différents types de générateurs décrits dans le document intitulé «les outils d exploitation du référentiel de DB-MAIN». 2.4 Utilisation des modèles pour les évolutions Dans le cadre de l Ingénierie Dirigée par les Modèles, et du point de vue méthodologique, il existe deux types d évolution : les évolutions endogènes qui permettent de passer d un modèle «source» à un modèle «cible» au moyen d un processus itératif de modifications du modèle «source» ; les évolutions exogènes qui proposent de passer d un modèle «source» à un modèle «cible» construit indépendamment du modèle «source». Service Marketing 29/04/2008 REVER-ME00 Page 11 / 12
Les méthodes qui sont appliquées dans chacun de ces cas ne sont évidemment pas identiques, la différence essentielle résidant dans l établissement des correspondances (les «mapping») entre les modèles «source» et «cible». Dans le premier cas, le mapping est construit automatiquement par DB-MAIN au fur et à mesure des évolutions du modèle «source», dans le second cas il convient d établir ce mapping. En pratique, les évolutions des objets «données» concernant les «contenants» (et leurs contenus) sont, en général, des évolutions de types endogènes, alors que les évolutions portant uniquement sur les «contenus» sont, le plus souvent, de types exogènes. Des descriptions plus détaillées des processus d évolution et de leurs conséquences sont données dans les documents intitulés «Ingénierie & re-ingénierie des bases de données», «déchargement et rechargement massif des données» et «re-ingénierie des codes procéduraux» pour les évolutions endogènes, et dans le document intitulé «évolutions exogènes» pour les évolutions exogènes. Service Marketing 29/04/2008 REVER-ME00 Page 12 / 12