ETUDE CONCERNANT LE CHOIX ET LA MIGRATION D UNE BASE DE DONNEES.

Transcription

1 Adrien FERREIRA. IUT du Limousin. Département Informatique. 2 ième année de DUT. Année ETUDE CONCERNANT LE CHOIX ET LA MIGRATION D UNE BASE DE DONNEES. Stage effectué au sein de l entreprise MeadWestVaco du 26\03\2007 au 02\06\2007.

2 Remerciements Même s'il est vrai que le rapport de stage est le fruit d'un travail très personnel, je me dois de remercier toutes les personnes qui ont contribuées à son élaboration. Je tiens à remercier dans un premier temps Monsieur Gérard LOURET, Directeur Général de MEAD EUROPE ENGINEERING, qui m'a permis d'effectuer mon stage au sein de son entreprise. Mes remerciements s'adressent plus particulièrement à mon tuteur de stage Monsieur Bernard EBLIN, assigné au développement logiciel, qui m'a accueilli et qui a su me laisser une certaine autonomie tout en me guidant dans les moments opportuns. En outre, je tiens à remercier également Monsieur Jacques DUMONT, enseignant à l'iut de Limoges, pour m'avoir suivi et soutenu tout au long de cette période. Enfin je remercie l'ensemble de personnel de l'entreprise pour leur accueil et toute l'aide apportée plus ou moins directement au cours de ce stage

3 Sommaire Introduction 04 I MeadWestvaco 05 1 LE GROUPE MEADWESTVACO 05 A MeadWestvaco dans le monde B MeadWestvaco en Europe C MeadWestvaco en France 2 LA FILIALE MEAD EUROPE ENGINEERING 06 A Son activité B Son organisation II Des objectifs, une mission 09 1 DESCRIPTION DU SYSTEME UTILISE 09 A Principe de fonctionnement du système actuel B Principe de fonctionnement du nouveau système 2 UN CAHIER DES CHARGES STRICT 11 A Des contraintes techniques B Des contraintes physiques 3 METHODES DE RESOLUTION EMPLOYEES 12 A Des recherches et une auto formation continue B Un comparatif de possibilités C Un comparatif en termes de poids et de performances D La notion de fiabilité III A la recherche de la solution 14 1 UNE MULTITUDE DE BASES DE DONNEES DIFFERENTES 14 A Les bases de données les plus utilisées B Spécificités des bases de données choisies C Installation des serveurs 2 CREATION ET ETUDE DE DEUX BASES DE DONNEES TEMOINS 22 A Le choix de deux bases de données distinctes B Le choix du logiciel de modélisation et création des bases de données C Création des bases de données et comparatifs D Fiabilité assurée de la solution choisie? 3 INTEGRATION AVEC DELPHI 37 A La génération des données sous Delphi B Une administration incorporable sous Delphi C L import des données de la base PARADOX Conclusion 42 Glossaire 43 Sources documentaires 44 Annexes

4 Introduction A la fin de leur seconde année à l IUT, les étudiants de DUT Informatique doivent effectuer un stage de 10 semaines en entreprise afin de mettre en application les connaissances et compétences qu ils ont acquises. Cette expérience leur permet également de voir comment cela se passe réellement dans la vie active, et de savoir s ils sont prêts ou non, à s insérer sur le marché du travail. Pour ma part, ce stage s est déroulé au sein de l entreprise MEAD EUROPE ENGINEERING (MEE), spécialisée dans la conception de machines d emballages et de suremballages en carton de produits de consommation courante (boissons, aliments, crèmes de beauté ). Ce secteur d activité nécessite l utilisation de machines de plus en plus perfectionnées et répondant à des exigences bien précises. L exportation de ces machines est effectuée dans un grand nombre de pays dans le monde. Chacune de ses machines est connectée à un ordinateur embarqué sur lequel une interface homme machine (IHM) permet à l utilisateur de communiquer avec la machine. Cette interface utilise actuellement une base de données conséquente, de type PARADOX. Mais il s avère que même si ce type de base de données fonctionne correctement, il commence néanmoins a être dépassé. Et c est pour ce problème que l on m a proposé d intervenir. L objectif de mon stage étant de comparer différents systèmes de bases de données, afin de déterminer lequel serait le plus adapté pour remplacer l existant. Ce rapport va me permettre de vous expliquer quel type de base de données j ai choisi, et surtout les raisons de ce choix. Ainsi vous pourrez constater par vous-même, la façon dont j ai avancé durant le stage, ainsi que les différents problèmes que j ai pu rencontrer. Je vais donc vous présenter, dans un premier temps, le groupe MeadWestvaco, puis sera détaillé plus précisément quel était le but de ma mission, et comment je m y suis pris pour atteindre le résultat final. Enfin j aborderai le cœur même de mes recherches, à savoir la façon dont s est déroulé le choix du type de base de données, et je développerai l aspect «intégration» de cette dernière avec le système déjà en place

5 I - MeadWestvaco 1 LE GROUPE MEADWESTVACO A MeadWestvaco dans le monde MeadWestvaco est une firme multinationale dont le siège social se situe à Stamford dans le Connecticut (USA). Elle dégage 6,5 millions de dollars de chiffre d affaires annuel et emploie plus de personnes dans le monde (2006). Propriétaire de plus de km² de forêt exploitable, MeadWestvaco s est spécialisée dans le bois et ses dérivés (fibre de cellulose, carton et papier). Actuellement implantée dans 29 pays (4 continents), la société regroupe deux divisions de par leur secteur d activité : MeadWestvaco Coated Board. MeadWestvaco Packaging International, leader dans l emballage. La première filiale assure la conception et la fabrication des emballages, tandis que la seconde ne s occupe que des systèmes d emballage. Rapidement, MeadWestvaco est devenu le leader mondial de l emballage et du suremballage des produits destinés à la grande distribution et principalement à l industrie alimentaire. On dénombre 800 sociétés clientes dans le monde. B MeadWestvaco en Europe Jusqu en 1975, les machines ne provenaient que des Etats-Unis et l activité de MeadWestvaco en Europe était limitée à l emballage des cartons. Néanmoins, les machines américaines se sont révélées être inadaptées à la demande européenne et aux spécificités du marché européen, si bien que, Mead Europe Packaging fut créé en Le siège social se situe à Maurepas dans la région parisienne. La majorité de sa production est orientée vers : L agroalimentaire. Les packs pour la bière et les boissons en général. Les produits laitiers comme les yaourts... Les industries pharmaceutiques, de cosmétiques - 5 -

6 C MeadWestvaco en France La société Mead est présente en France depuis 1965 suite à la création de MEAD Habermacher. Dès 1967, la société se décentralise et, par la suite, le siège social est transféré de Malakoff à Châteauroux où elle décide d implanter ses unités de production. En France, MeadWestvaco Emballage est devenu leader et l usine de Châteauroux est le point de départ des livraisons pour le marché français. Elle totalise plus d un milliard d emballages fabriqués et a en sa possession : 66% du marché de l emballage des brasseries 51% du marché de l emballage des laiteries 72% du marché de l emballage des vins 55% du marché des boissons gazeuses et rafraîchissantes 2 LA FILIALE MEAD EUROPE ENGINEERING A Son activité MeadWestvaco Europe Engineering est une filiale du groupe MeadWestvaco, basée dans la zone industrielle de La Martinerie à Déols, commune de Châteauroux (Indre). Site de MeadWestvaco Europe Engineering Cette division s occupe essentiellement de la partie conception, assemblage, mise au point ainsi que de l installation des machines de suremballage qui sont louées à sa clientèle. Elle conçoit donc des machines spécifiques en fonction des différents besoins des clients, et leur loue par la suite. La durée d utilisation de ces machines est généralement comprise entre un et quatre ans. Ensuite, les machines sont généralement récupérées et re-conditionnées à la demande des clients actuels ou pour ceux à venir. MeadWestvaco doit de plus en plus souvent modifier et reconditionner des machines reprises aux clients pour les livrer à d autres sociétés (les machines étant louées à d autres sociétés pour une certaine durée). Une machine conçue au sein de MeadWestvaco Europe Engineering est vendue au groupe MeadWestvaco qui la loue à un client

7 On distingue trois types de machines : Les machines neuves. Les machines re-conditionnées. Les modules de machines (Ce sont des périphériques utilisés sur les machines comme par exemple, des diviseurs, des retourneurs ). Exemple de machine MEAD : Basket Wrap B Son organisation - Le bureau d étude Avec un effectif de onze employés dont six responsables de lancement, un à quatre étudiants stagiaires, le bureau d étude se charge du développement de nouveaux concepts de machines. Son activité est principalement de deux natures : La conception de nouvelles machines. Le reconditionnement d anciennes machines. Pour les machines traditionnelles ou de conception classique, le temps d étude pour l adaptation aux besoins du client représente selon les cas entre 30 et 300 heures de travail. Pour une nouvelle machine ou une machine plus spécifique, le temps d étude se situe entre 1000 et 1200 heures. Ce service étudie également les formes des packs et leurs tenues/résistances aux chocs. Il invente un nombre important de packs chaque année puis les brevètent. Le service achat prend le relais et développe des études sur l impact vis à vis du consommateur. Exemple d étude de modèle de pack - 7 -

8 - L atelier Vingt cinq employés dont onze ingénieurs composent ce service. L objectif de ce dernier est d ajuster les machines et de les rendre en parfaite adéquation avec les spécifications établies dans le cahier des charges fourni par les clients (par exemple ajuster la vitesse, ou encore l emballage ). - Le bureau de recherche et développement La performance, associée à la cadence d emballage et à la flexibilité des machines, font la force des machines de MeadWestvaco par rapport à la concurrence. Quant à la fiabilité, elle passe notamment par l intégration de systèmes robustes, par la présence d un support technique en cas de problèmes électriques, ainsi que par des cycles de maintenance préventive. Si l entreprise MeadWestvaco Europe Engineering, reste leader sur son marché, c est grâce à un investissement important au niveau de son pôle de recherche et développement. Cela permet ainsi d intégrer les dernières innovations à ses machines et d élargir la palette de clients par la création de nouvelles machines, ce qui est le cas dans le secteur cosmétique. C est dans ce contexte que le bureau de recherche et développement travaille actuellement sur différents projets, dont l optimisation de la flexibilité des machines. - Le service achat Avec un effectif d environ dix personnes, le service achat supervise le travail des ateliers. Il contrôle l état des livraisons ainsi que leurs délais avec les sous traitants et les fournisseurs. Le propre de ce service est de trouver de nouveaux fournisseurs et d avoir des contacts réguliers avec les sous-traitants, autre branche essentielle du processus de fabrication des machines sortantes de Mead Europe Engineering. Le service achat vérifie les spécifications de chaque pièce en les conformant au programme des machines défini au début du projet. - Le service compatibilité et administratif Cinq employés se divisent les tâches. Leur but est de fournir un rapport mensuel et d entretenir des relations avec des partenaires extérieurs tels que les banques, les services publics, etc. Ce service comprend également un service importexport qui est chargé de suivre l expédition des machines et de choisir le mode de transport de cellesci. - Le service électrique Constitué d environ quinze employés dont six ingénieurs, ce service permet l adaptation de nouveaux systèmes de contrôle en fonction du type de pack sur la machine

9 II Des objectifs, une mission 1 DESCRIPTION DU SYSTEME UTILISE A Principe de fonctionnement du système actuel Afin que vous puissiez suivre facilement l ensemble de l étude qui va suivre, il semble évident qu il faille définir comment fonctionne le système actuel. En effet, même s il est possible de comprendre la suite sans cette partie, elle permettra d avoir une vision d ensemble du système et d en apprécier les améliorations. Ordinateur embarqué Dans un premier temps, il faut savoir que les ordinateurs qui utiliseront mon travail ne sont pas uniquement de simples ordinateurs de bureaux. Certes il y en aura, mais il ne faut pas oublier que les utilisateurs principaux seront des ordinateurs dits «embarqués», puisqu ils sont en fait greffés sur les machines que propose MeadWestvaco. Ils sont connectés à des écrans tactiles, qui permettent d interagir avec l IHM(*) du logiciel appelé «Supervisor»(*), qui sert à paramétrer et contrôler les machines, ou encore à enregistrer des statistiques. Actuellement, le système dispose d une seule base de données, qui contient à la fois les réglages concernant la configuration des machines et les statistiques enregistrées. Cette base de données étant de type PARADOX, chaque table est associée à un fichier, ce qui permet de séparer les tables dans des dossiers différents. Ainsi, cette base de données est stockée sur le disque dur de l ordinateur embarqué, et contient dans un répertoire «DAT» les tables de réglages, et dans un répertoire «Statistic», les tables contenant les statistiques. Il faut aussi noter que la base de données est locale à la machine. Seul l ordinateur de la machine accède à la base de données (Elle tourne donc en Localhost). La sécurité de la base de données, n est donc pas à prendre en compte. On trouve dans l armoire les 3 composants suivants : - ORDINATEUR (- 1 -) C est ici que sont effectués tous les réglages ainsi que la configuration de la machine. C est aussi sur cet ordinateur que sont stockées toutes les statistiques. Enfin il permet aussi de visualiser un bon nombre de données, et de transmettre des ordres à la machine. - AUTOMATE (- 2 -) L automate grâce à ces périphériques d entrée / sortie comme des capteurs, va collecter des informations et les envoyer à l ordinateur. Il reçoit lui aussi des informations et des ordres en provenance de l ordinateur. - CARTE D AXE (- 3 -) Cette carte est en fait reliée à un micro réseau en fibre optique sur lequel sont connectés des variateurs eux-mêmes associés aux moteurs de la machine

10 La carte d axe permet donc de contrôler et de synchroniser l ensemble des moteurs par le biais des variateurs. On peut résumer le nombre de composants d un système et leurs relations grâce à ce schéma, qui permet d avoir une vue globale : Schéma explicatif du fonctionnement actuel B Principe de fonctionnement du nouveau système Le principe de fonctionnement reste assez similaire, il y a cependant deux différences importantes. La première qui parait la plus évidente, c est le changement du type de base de données. Il faudra que cette dernière soit adaptée au système pré existant. De plus, il va falloir scinder en deux la base de données en place. Il y aura donc une base de données qui contiendra la configuration de la machine, et une base de données qui servira à stocker les statistiques enregistrées. Aspect d une Compact Flash La seconde différence réside dans un changement physique du système. Pour des raisons de souplesse et de flexibilité, on veut pouvoir stocker toutes les informations sur des Compact Flash (CF). Il sera ainsi plus facile de déplacer les informations, on se libère de l utilisation du disque dur de l ordinateur. De plus la taille d une CF est beaucoup plus petite. Elle a l avantage de pouvoir être dupliquée, sauvegardée ou restaurée beaucoup plus facilement que pour un disque dur

11 Le système travaillera sur deux CFs. - La première contiendra le système d exploitation, en l occurrence «Windows XP embedded» et les différents logiciels essentiels au bon fonctionnement de l ordinateur mais aussi du serveur de base de données. Cette version de Windows XP est une version allégée du Windows XP traditionnel. Elle ne contient que les éléments essentiels à son fonctionnement. On utilise cette version puisque le système d exploitation est stocké sur une compact Flash, il faut optimiser l occupation de la place. Cette CF est en lecture seule, et ne peut donc pas être modifiée. En pratique l ordinateur croit écrire sur la CF mais il écrit dans sa mémoire vive. La Compact Flash, elle reste indemne, et à chaque redémarrage de l ordinateur, sa mémoire vive est vidée. - La seconde CF contiendra les deux bases de données. La première qui contient donc les réglages de la machine et pour la seconde les statistiques. Cette carte flash sera de type d accès séquentiel et l ordinateur peut bien évidement écrire sur celle-ci. Afin d obtenir les meilleures performances possibles en termes de vitesse, nous n utiliserons pas des adaptateurs USB2-CF, mais un adaptateur IDE-CF qui ressemble à ceci : Aspect d un adaptateur IDE-CF Note : l IDE est l appellation d un des modes de connection d un disque dur. 2 UN CAHIER DES CHARGES STRICT A Des contraintes techniques Mon travail sera essentiellement porté sur la seconde Compact Flash, celle contenant les bases de données donc, puisque je dois conseiller l entreprise en ce qui concerne le choix du type de celles-ci. Ce choix est soumis à diverses contraintes : - On doit pouvoir faire une sauvegarde complète de la structure et des données de la base de configuration. - Une restauration complète des données doit être possible. - Des contrôles sur les données doivent pouvoir être effectués : o Suppression des enregistrements de statistiques par rapport à une date. Modification du type de certains champs dans une table. - Le système de base de données doit être choisi dans une optique de performance (Il y aura certainement des écritures en base toutes les secondes)

12 - La base doit faire preuve d une certaine souplesse (Elle doit être portable : il faut impérativement que l on puisse choisir où placer les fichiers de base de données. De même on doit pouvoir l exploiter facilement et de différents endroits du système). - La notion de coût, elle aussi, sera déterminante puisque le système actuellement en place ne coûte pas d argent ( PARADOX étant disponible avec Borland, que l entreprise utilise pour Delphi). Il faudra donc utiliser des outils gratuits et faire en sorte que le déploiement de la base n entraîne aucun coût. B Des contraintes physiques Les contraintes physiques viennent en priorité du fait que toute information sera stockée sur une Compact Flash. La première, contenant le système d exploitation ainsi que l installation du «Supervisor» et du serveur de base de données, sera dotée d une taille de 2Go. Le poids du serveur ne doit donc pas être trop important. De même, pour les deux bases de données, qui seront stockées sur une Compact Flash plus petite encore, puisqu elle ne fait que 1Go. L aspect poids est donc primordial dans le choix du type de base de données. Enfin il faut évidement que le système de base de données choisi soit parfaitement compatible et intégrable au langage Delphi, langage de programmation dans lequel est codé le «Supervisor». 3 METHODES DE RESOLUTION EMPLOYEES A Des recherches et une auto formation continue La partie la plus importante de ce stage concerne l aspect recherche, documentation et étude des sujets travaillés. En effet, à l IUT, nous avons appris comment créer une base de données sous Access et MYSQL, et nous avons réalisé divers travaux en HTML / PHP. Nous n avons cependant jamais étudié d autres bases de données, ni même le langage Delphi. Pour ma part, je pense que mon stage a été une auto formation continue. Bien sûr j ai été encadré par mon tuteur, toujours enclin à m aider lorsque j étais complètement bloqué. J ai donc fait mes propres recherches sur Internet, j ai parcouru un bon nombre de sites sur les différents types de bases de données existants, j ai posé des questions sur des forums spécialisés, et j ai également suivi beaucoup de discussions sur ces derniers. Ainsi j ai pu me forger ma propre opinion. Bien sûr en complément, il a aussi fallu que je trouve et parcourt la multitude de documentations attachées à chaque base de données. J ai également dû faire des recherches similaires afin de comprendre comment fonctionne le langage Delphi, et pouvoir ainsi modifier le code des applications à ma guise. Outre les recherches Internet, je pense avoir beaucoup appris, en étudiant le code même d applications qui étaient bien commentées.. J ai également eu accès à la documentation (en anglais) du «Supervisor». B Un comparatif de possibilités Afin de choisir quel serait le type de base de données le plus adapté, il a fallu après s être renseigné globalement sur chacun d entre eux, savoir quelles possibilités offraient chacun. En effet, quelque soit son type, une base de données a toujours un but commun. Mais en effectuant mes recherches, je me suis aperçu que beaucoup avaient de petites différences non négligeables

13 Certaines bases de données par exemple, offrent des fonctions très utiles que d autres n ont pas. Dans certains cas, je ne m en suis malheureusement aperçu qu en les manipulant. C Un comparatif en termes de poids et de performances Afin de départager les solutions retenues, j ai examiné les performances de chacune d entre elles ainsi que le poids des bases de données, et de l installation de leurs serveurs. Pour comparer les différences de poids, il n y rien de difficile. Par contre pour les performances, il a fallu trouver ce qui pouvait être évaluer. D La notion de fiabilité Enfin, est-ce que les solutions qui se sont dégagées sont effectivement fiables et sûres? Comment en être sûr? Est-ce que les recherches effectuées sur Internet afin de récolter des opinions et la synthèse qui en résulte est suffisante? Quelles sont les entreprises qui ont recours à ce type de base de données?

14 III A la recherche de la solution 1 UNE MULTITUDE DE BASES DE DONNEES DIFFERENTES A Les bases de données les plus utilisées Après quelques investigations, je me suis aperçu qu il existait beaucoup plus de types de base de données que je ne le pensais. Bien sûr la liste qui suit n est pas exhaustive, mais elle regroupe, je pense les plus utilisées : [Apache] Derby [Borland] Interbase [Borland] Paradox [Filemaker] [Firebird] [IBM] DB2 for iseries (DB2-400) [IBM] DB2-UDB [IBM] Informix [IBM] Cloudscape [Microsoft] SQL Server [Microsoft] Access [MySQL] [Oracle Corporation] Oracle Database [Oracle Corporation] Berkeley DB [Oracle Corporation] Rdb [PostgreSQL] [SQLite] [Sun Microsystems] Java DB [Sybase] SQL Anywhere Studio [Sybase] Adaptive Server Enterprise [Sybase] Sybase IQ B Spécificités des bases de données choisies Après une étude superficielle de chacun des systèmes, j ai sélectionné ceux qui apparaissaient les plus adaptés à nos besoins ( fonctionnalités, compatibilité Delphi, etc. ) et surtout gratuits. Nous porterons donc notre étude sur les systèmes de base de données suivants :

15 Ce qui suit est un descriptif des types de bases de données choisis, dans lequel nous verrons une liste non exhaustive des avantages et inconvénients de chacun, afin de se faire une idée de ce qu ils proposent, et de quelles sont leurs limites

16 - FireBird - La dernière version stable de FireBird mise en ligne est la version 2.0. Elaboré à parti d Interbase, FireBird dispose d une licence OpenSource et est disponible sous de nombreux systèmes d exploitations : - Linux. - Windows. - MacOSX. - Solaris. - HP-UX. - FreeBSD(*). Ses Avantages : Son administration vraiment aisée (La base de données est auto administrée et auto optimisée). On a la possibilité de concevoir des procédures stockées simples qui sont de surcroît faciles à écrire. On peut imbriquer des requêtes puisque le «Sous select» est possible dans la clause FROM. Il dispose d une architecture Multi-Générationelle. (*) Il propose la possibilité de faire des sauvegardes sans arrêter la base de données et incrémentales. Il dispose d une gestion efficace des différents jeux de caractères et d'ordre de tri. Il gère de nombreux pilotes (Java,.Net, Python, Delphi, C++, Ruby...). On a la possibilité de répliquer la base de données. Il existe une version embarquée de Firebird (FireBird embedded). (*) : L architecture Multi-Générationelle permet de se passer de fichiers journaux car elle garde la version précédente de chaque enregistrement modifié ou supprimé tant que toutes les transactions qui étaient intéressées par cet enregistrement, aient fini leur travail. Ses Inconvénients : La pauvreté des outils graphiques, mais il y a une solution : IBExpert. Il ne gère pas la recherche Full Text. Il ne dispose pas de la notion de cryptage (On ne recherche pas la sécurité). Il n a pas d ordonnanceur intégré (*), ni de notion de partitionnement. (*) : Programme se chargeant, dans un système multitâche, de distribuer le temps de calcul aux différents programmes (plus précisément aux processus), assurant donc leur ordonnancement

17 - MySQL - La dernière version stable mise en ligne est la version MySQL dispose d une licence GPL(*) ou commerciale et est disponible sous de nombreux systèmes d exploitations : - Linux. - Windows. - MacOSX. - Unix. - FreeBSD. Ses Avantages : C est une solution très courante en hébergement public ce qui témoigne d un certain succès. Il existe une large communauté de développeurs en PHP qui travaillent avec MySQL, il est donc très facile de trouver de la documentation ou des didacticiels. Il permet de répliquer ou de sauvegarder les bases. Il propose une gestion d'une simple réplication maître esclave dans le cas d'une sauvegarde. Possibilité de l utiliser sur une base locale : Possibilité d'embarquer MySQL dans un logiciel et de le distribuer sans serveur. Il est réputé facile de déploiement et de prise en main. Il existe plusieurs moteurs de stockage. Ses Inconvénients : Il ne supporte qu'une faible partie des standards SQL-92. Il supporte mal les triggers et procédures stockées. Il ne dispose pas de beaucoup de richesse fonctionnelle. Il manque de robustesse avec de fortes volumétries. Il ne propose pas l héritage de table. Pas d'ordonnanceur intégré ni de partitionnement. Après une étude plus poussée de la licence GPL de MySQL, il s avère que nous ne pouvons pas l utiliser dans le cadre de notre projet, puisque les machines qui utiliseront l éventuelle base de données MySQL seront commercialisées. Nous l utiliserons donc simplement à titre de comparaison puisque ce dernier est connu pour sa grande vélocité!

18 - PostgreSQL - La dernière version stable mise en ligne est la version PostgreSQL dispose d une licence OpenSource et est disponible sous de nombreux systèmes d exploitations : - Linux. - Windows. - MacOSX. - Unix. Ses Avantages : Réputé fiable et relativement performant en restant cependant simple d'utilisation. Supporte la majorité du standard SQL-92 et possède en plus un certain nombre d'extensions (Java, Ruby, PL-SQL..). Contrairement à MySQL, il est très riche fonctionnellement, et dispose d une multitude de modules. Simple d administration. Gère l héritage de tables. Ses Inconvénients : Les sauvegardes sont gérées mais peu évoluées. Il supporte les bases de moyenne. Ne gère pas les notions de rôles et de hiérarchisation de groupes. Ne propose pas de services Web. (pas important dans notre cas). Il n y a pas de support XML. Pas d'ordonnanceur intégré ni de vue matérialisée. Gestion des permissions seulement au niveau de la table, pas au niveau des champs. Solution de réplication pas encore totalement ajoutée

19 - SQLite - La dernière version stable mise en ligne est la version SQLite dispose d une licence OpenSource et est disponible sous de nombreux systèmes d exploitations : - Linux. - Windows. - MacOSX. - Unix. - FreeBSD. Ses Avantages : Son principal avantage est qu il est le plus petit serveur de base de données qui existe sur le marché. Il est très facilement incorporable à une application puisqu il s agit en fait d une simple librairie C. Simple d'utilisation et d'administration. Aisément installable. Ses Inconvénients : Fonctionnalités vraiment minimales. Ne gère pas les intégrités référentielles. (*) Librairie très limitée (à part ajouter une colonne, mutations quasi impossibles). Ne supporte pas les jointures externes. (*) Pas d'ordonnanceur intégré. Pas de vue matérialisée, ni de partitionnement. Pas de notion de rôles, pas de hiérarchisation des groupes. Pas de gestion de la sécurité minimaliste. ( Ce n est pas important dans notre cas)

20 - SQL Anywhere Studio - La dernière version stable mise en ligne est la version 10 SQL Anywhere Studio dispose d une version gratuite (version Express) et est disponible sous de nombreux systèmes d exploitations : - Windows. - Palm OS. - Win CE. - Novell Netware. Ses Avantages : Il est idéal pour les environnements embarqués. Il supporte très bien le standard SQL-92. Il permet la sauvegarde à chaud, la restauration. Il gère les intégrités référentielles et les triggers. Il s optimise automatiquement et est facile à administrer. Il inclut de nombreux pilotes. Ses Inconvénients : Il est surtout utilisé pour des bases de données moyennes. Il pose quelques problèmes pour les grosses et longues écritures en base. Son optimiseur de requêtes est peu évolué. On lui reproche des temps d exécution assez lents

21 - Paradox- Les caractéristiques de ce système de base de données sont étudiées afin de pouvoir les comparer avec les solutions envisagées. La dernière version stable mise en ligne est la version 11 SQL Anywhere Studio est disponible sous de nombreux systèmes d exploitations : - Windows. - Linux. - Win CE. - Novell Netware. Ses Avantages : C est un outil de développement très puissant. Il fonctionne parfaitement en réseau pour un petit groupe d'utilisateurs. Il inclut un générateur d'états extraordinaire qui permet, sans une ligne de code, de réaliser tous types d'éditions très simplement. Il est très rapide de mettre en place une base de données Paradox. Ses Inconvénients : Très peu intuitif et de prise en main difficile. Paradox fut un système de base de données très puissant, mais commence aujourd hui à être dépassé. - En résumé - On retiendra que : FireBird : Très léger, idéal pour du mono utilisateur, il privilégie la stabilité et la fiabilité. Possibilité de sauvegarder à chaud, prévoit coupure courant, etc. MySQL : Dispose de beaucoup de documentations, gère les sauvegardes, offre la possibilité de faire une base locale. PostGreSQL : Fiable et performant, simple utilisation, riche fonctionnellement. SQLite : Très léger, simple d'utilisation, peut-être trop basique. SQL Anywhere Studio : Orienté environnements embarqués, semble très peu gourmand en mémoire et espace disque, serait idéal pour du mono utilisateur, cependant les performances annoncées sont moyennes. Paradox : Puissant mais commence à être dépassé

22 C Installation des serveurs et études des licences Installation des serveurs : Une fois tous ces éléments considérés et comparés, il a fallu installer les serveurs respectifs de chacun des systèmes de bases de données. - Installation FireBird : En effet l installation et la configuration du serveur de base de données sont relativement simples, c est la première fois que je pratique ce genre d installation, et tout s est parfaitement bien déroulé. - Installation MySQL : Tout a été fait sans interface graphique, plutôt contraignant et impossible à faire sans documentation. - Installation SQLITE : Rien à installer pour le moment, puisqu il s agit simplement d une librairie. - Installation PostGreSQL : L installation du serveur en tant que service est impossible, je dois être administrateur de la machine (or ce n est pas mon cas, puisque je dispose d un nom d utilisateur personnel. L entreprise n a bien entendu pas voulu que je dispose du statut administrateur). Installation laborieuse du serveur en tant qu application. - Installation SQL Anywhere Studio : Très intuitif, facilité de prise en main, rien à redire! Pour ma part, je trouve FireBird et SQL Anywhere les plus simples et les plus fonctionnels.. Cependant les aspects performance et robustesse priment sur la facilité de prise en main.. Note : Il faut savoir que les serveurs ont été installés deux fois. Une première fois sur la station de travail qui a été mise à ma disposition. Puis sur un des ordinateurs spécifiques des machines de MeadWestvaco et ceci pour vérifier qu il n y aurait aucun problème de compatibilité avec l XP Embedded. Les procédures d installation ont été exactement les mêmes si ce n est que pour l ordinateur embarqué, il a fallu respecter l aspect Compact Flash. A savoir séparer les serveurs des bases de données. Cela permettra aussi de comparer les tests de performances. 2 CREATION ET ETUDE DE DEUX BASES DE DONNEES TEMOINS A Le choix de deux bases de données distinctes A ce stade, je rappelle que les concurrents pour le remplacement de la base de données de type PARADOX sont : FireBird, PostgreSQL, SQLite, SQL Anywhere Studio. Et afin de faire des comparaisons de performances, nous étudierons également MySQL et PARADOX

23 Lors de mon arrivée en stage, j ai été surpris de constater que l entreprise ne disposait d aucune représentation graphique de la base de données actuelle. Je ne peux donc pas me servir directement de l existante afin d effectuer mes tests de performances. Pour résoudre ce problème et en accord avec mon tuteur, j ai donc pris la décision de créer deux bases de données pour effectuer ces tests. Bien sûr celles-ci doivent être de même nature que la base de données déjà en place. - La première contiendra les informations relatives à la configuration de la machine, elle sera constituée de tables reliées entre elles, contenant peu d enregistrements. Afin de créer une base répondant à une certaine logique, je me suis inspiré des modèles vus en cours : le sujet de cette base de données est : la location de voiture ( le fond de la base de données importe peu). - La seconde contiendra peu de tables, qui ne seront pas reliées, mais qui serviront à stocker beaucoup d enregistrements ( des statistiques ). C est mon tuteur qui m a proposé trois tables dont la structure correspond de la base de données à remplacer. Je dois donc modéliser ces deux bases de données pour générer la structure de celles-ci. Pour cela j ai besoin d un outil adapté! B Le choix du logiciel de modélisation et création des bases de données Choix du logiciel de modélisation Sachant que la base de données est actuellement une base de données PARADOX, je me suis mis en quête d un logiciel de conception de Base de données (Merise), et voici les résultats obtenus : 01 [SYBASE] Power AMC / Power Designer. 02 [CECIMA] Win design. 03 [MICROSOFT] Visio. 04 [CHARONWARE] Toad Data Modeler. 05 [GENTLEWARE] Poseidon. 06 [COMPUTER ASSOCIATES] Erwin Data Modeling. 07 [MODEL MAKER TOOLS] Model Maker 08 Analyse SI. 09 [GNU] Dia. 10 [DATANAMIC] Dezign for database. 11 [SPARX SYSTEM] Enterprise Architect. 12 [FABFORCE] DB Designer. 13 [MAGMA SOLUTIONS GMBH] SILVERRUN ModelSphere. 14 [REVER SA] DB-main. J ai ensuite examiné ce que proposait chacun d entre eux, et recherché ceux qui proposaient une licence gratuite, ou du moins une version d évaluation laissant suffisamment de possibilités. Ne seront détaillés, que ceux jugés les plus intéressants :

24 01 [SYBASE] Power AMC / Power Designer. (PAYANT) Power AMC est l outil de conception et modélisation le plus répandu en France. Modélisation de Processus Métiers : Power AMC permet aux utilisateurs de concevoir et de modéliser des processus métiers, en utilisant un modèle hautement graphique, non technique et facile d'utilisation. Modélisation des Données : Power AMC permet aussi de concevoir et de générer une structure de base de données via la modélisation Merise de bases de données relationnelles à deux niveaux (conceptuel et physique). Modélisation Objet : Power AMC permet de procéder à une analyse et une modélisation objet basées sur le standard UML (diagrammes de cas d'utilisation, d'activités, de séquence, de classes et de composants). Power AMC est donc idéal pour la gestion et la maintenance des bases de données, de plus c est le logiciel que j'utilise dans le cadre scolaire. Ce choix semble être un des plus judicieux, cependant on peut noter un léger inconvénient, il faut être prêt à débourser 4186 Euros. Version de démonstration : On dispose du logiciel complet mais seulement pendant 15 jours. 02 [CECIMA] Win design. (PAYANT) Version de démonstration : On dispose du logiciel complet mais on ne peut sauvegarder son travail. 03 [MICROSOFT] Visio. (PAYANT) Version de démonstration : On ne dispose pas du logiciel complet et on ne peut utiliser le logiciel que 20 jours. 04 [CHARONWARE] Toad Data Modeler. (PAYANT) Anciennement connu sous le nom de «CASE Studio», il permet de créer de grands schémas Entités - Relation pour de nombreux Systèmes de Gestion de Base de Données (SGBD (*)) et cela en quelques minutes. Cet outil de modélisation de bases de données est le choix idéal pour les organisations et les développeurs qui veulent travailler facilement avec leurs bases de données préférées. Vous pouvez modéliser des MPD(*) pour plus de 20 SGBD puisqu il supporte MS SQL, Access, Oracle, MySQL, MxDB, FireBird, Paradox, Sybase, Informix, DB2, Interbase, Ingres et bien d autres.. Ce logiciel permet de générer des scripts de création de base de données dans le type de base de données que l on souhaite, simplement à partir d une représentation graphique. Ceci serait très pratique et me ferait gagner beaucoup de temps! Il semble graphiquement très pauvre mais plutôt fonctionnel. Version de démonstration : On dispose du logiciel en version partiel ( pas de Reverse Ingeniering (*) ) sans restriction dans le temps

25 05 [GENTLEWARE] Poséidon. ( GRATUIT ) Poséidon est un logiciel de modélisation pour l UML(*), la version gratuite «Community Edition» gère les diagrammes UML, l'ingénierie inverse de code Java ainsi que la génération de code. Ce logiciel aurait pu m être d un grand secours si j avais utilisé la modélisation UML, mais comme c est surtout l aspect création de base de données qui nous intéresse, le MERISE semble plus indiqué. 06 [COMPUTER ASSOCIATES] Erwin Data Modeling. ( PAYANT ) Selon ce que j ai pu lire, ce logiciel bien que performant propose beaucoup moins de fonctionnalités que PowerAMC, et pour le prix auquel il est proposé, c est dommage.. Version de démonstration : On dispose du logiciel complet mais on ne peut utiliser le logiciel que pendant 30 jours. 07 [MODEL MAKER TOOLS] Model Maker. ( PAYANT ) ModelMaker est un outil de productivité et modélisation UML. Il est spécialement conçu pour générer du code natif Delphi. Le langage Object Pascal de Delphi est entièrement supporté, y compris la majorité de la syntaxe de Delphi.NET. ModelMaker dispose de fonctions d ingénierie inverse complètes et peut importer du code Delphi. Les utilisations de ModelMaker couvrent tout le champ du développement logiciel : temps réel, applications techniques et bases de données. Cet outil semble tout à fait adapté pour le projet qui m incombe, puisqu il est conçu pour générer du Delphi.. De plus mon tuteur de stage Bernard EBLIN, a déjà utilisé ce logiciel dans son parcours professionnel, malheureusement ce logiciel est payant et l entreprise ne dispose pas de licence. La version d évaluation de 45 jours aurait pu suffire, mais s il y avait une éventuelle modification à faire en fin de stage, cela serait source de problèmes. Version de démonstration : On dispose du logiciel complet mais on ne peut utiliser le logiciel que pendant 45 jours. 08 Analyse SI. ( GRATUIT ) Facile d usage et surtout très léger. Il est cependant limité au strict minimum. Les types de SGBD gérés se comptent sur les doigts de la main. Analyse SI ne dispose pas d auto correction sur les modèles créés. La liste des impossibilités est aussi longue que celles des fonctionnalités de PowerAMC, même si AnalyseSI a le mérite de la simplicité et du prix. Après test rapide du produit, les informations recueillies sur Internet se confirment, le logiciel est beaucoup trop limité pour l usage souhaité. 09 [GNU] Dia. ( GRATUIT ) Tout comme POSEIDON, ce logiciel permet de faire de l UML mais pas de Merise

26 10 [DATANAMIC] Dezign for DataBase.( PAYANT ) Version de démonstration : On dispose du logiciel complet mais on ne peut utiliser le logiciel que pendant 30 jours. 11 [SPARX SYSTEM] Enterprise Architect. ( PAYANT ) Version de démonstration : On dispose du logiciel complet mais on ne peut utiliser le logiciel que pendant 30 jours. 12 [FABFORCE] DB Designer. ( GRATUIT ) DBDesigner permet de développer graphiquement des bases de données. Ce logiciel est distribué sous les termes de la licence GPL et est utilisable sous Linux comme sous Windows. C'est un des rares outils du libre qui permet de construire des formulaires et des états aussi facilement et rapidement. DBDesigner est un système de conception de base de données visuel qui intègre la conception de la base de données, la modification, la création et la maintenance en un seul environnement. La plupart des bases de données courantes sont supportées: MySQL, Oracle, MSSQL ainsi que toutes les bases ODBC. DBDesigner peut procéder par "reverse ingeniering" et créer un modèle à partir de bases de données existantes, il suffit de lui ouvrir une connexion sur la base en question. DBDesigner a été développé et optimisé pour être utilisé avec le SGBD relationnel MySQL, pour permettre à tous de développer de puissantes bases de données avec des outils performants. Après un test rapide du logiciel, celui ci semble assez fonctionnel, la prise en main est rapide. La possibilité de faire du reverse Ingeniering se révèle être un avantage non négligeable ( mais pas vers une structure FireBird ). 13 [MAGMA SOLUTIONS GMBH] SILVERRUN ModelSphere. ( PAYANT ) Version de démonstration : On dispose du logiciel complet mais on ne peut sauvegarder son travail. 14 [REVER SA] DB-main ( PAYANT ) Version de démonstration : On dispose d un logiciel très partiel mais qui n impose pas de restriction dans le temps

27 Après un test de la plupart des logiciels cités ci-dessus, deux ont retenu mon attention : [FABFORCE] DB Designer. ( GRATUIT ) [CHARONWARE] Toad Data Modeler. ( Version d évaluation ) Voici ce que propose les différents logiciels : - Toad Data Modeler : Création de MPD. Générer de Script SQL à partir du MPD (Suivant le type de base choisi). Gère plus de vingts types de base de données. Peut effectuer facilement des conversions de types de base de données. Ne fait pas de Reverse Ingeniering dans sa version gratuite. Vraiment pauvre graphiquement. - DB Designer : Création de MPD. Générer de Script SQL à partir du MPD ( Seulement en MySQL ). Gère seulement quelques types de bases. Reverse Ingeniering seulement à partir de MySQL. Très abouti graphiquement. Il est évident que la qualité et les performances doivent primer sur l aspect graphique des diagrammes, je vais donc travailler avec «Toad Data Modeler» pour la génération des bases de données

28 Création des bases de données Après une prise en main rapide du logiciel, j ai pu modéliser les deux schémas de base de données que vous pouvez visualiser ci-dessous : Schéma (MPD) de la base de test de type CONFIGURATION Comme vous pouvez le constater la représentation visuelle n est pas très aboutie, mais il faut avouer que le logiciel est très complet. Les types des champs ont été soigneusement choisis, de façon à ce qu ils correspondent à ceux des tables PARADOX, afin de vérifier leur compatibilité avec les différents types de base de données

29 Schéma (MPD) de la base de test de type STATISTIQUE Maintenant je peux générer un script SQL afin de procéder à leur création dans chacun des types de base de données choisis. Malheureusement le logiciel «Toad Data Modeler», ne permet pas la génération automatique en SQLite, je me suis donc attelé à sa création moi-même, en prenant comme point de départ le script de MySQL. Mes nombreux essais se sont tous soldés pas des échecs : Impossible de générer la moindre table. Et c est en cherchant sur le site officiel que j ai trouvé l explication : SQL Features That SQLite Does Not Implement FOREIGN KEY constraints. Ce qui signifie que SQLite ne gère tout simplement pas les clefs étrangères (servant à relier les tables). Cet aspect étant éliminatoire pour la base de données CONFIGURATION, on écarte donc définitivement SQLite de la liste des solutions possibles. A ce stade, les solutions restantes sont : FireBird, PostgreSQL et SQL Anywhere Studio. Une fois tous les scripts SQL de création générés, je les ai complétés de sorte qu ils insèrent également des données en base. J ai fait dans un premier temps, des modèles de requêtes d insertions pour chaque table, que j ai ensuite dupliqués et modifiés grâce à Microsoft Excel. La génération des données est surtout intéressante pour la base contenant les statistiques (Génération de 9000 enregistrements!) puisqu elles sont basées sur l heure à laquelle s exécute chaque requête. Je conçois que les explications qui suivent soient quelque peu complexes pour les non initiées à ce projet. Néanmoins, la conception de ces requêtes m a pris un temps non négligeable durant mon stage, et ces explications sont nécessaires pour comprendre la génération des données sous Delphi qui est exposée plus loin

30 /* MODELE POUR LA TABLE PACKS */ INSERT INTO PACK VALUES (CURRENT_TIMESTAMP , A); Comme la clef primaire de la table est une date de la forme «Date + Heure», il faut que celle-ci soit différente pour chaque enregistrement ( chaque INSERT crée un enregistrement ). La fonction Current_timestamp retourne la date «Date + Heure(y compris les secondes)» à laquelle s exécute la requête. Mais dans le script généré, il faut savoir que plusieurs requêtes s exécutent en une seconde. C est pourquoi à chaque requête j ajoute une seconde ( ) à l heure d exécution, afin d être sûr d avoir une «Date + Heure» différente pour chaque enregistrement. Ici le «A» est un nombre aléatoire généré par la fonction ALEA d Excel. On dupliquera cette requête 3000 fois. /* MODELE POUR LA TABLE NUMERIQUE */ INSERT INTO NUMERIQUE VALUES (CURRENT_TIMESTAMP, A, B); Ici le «A» est incrémenté de 1 toutes les 15 requêtes et le «B» est incrémenté de 1 toutes les 200 requêtes. Ainsi on aura 15*200 = 3000 enregistrements différents générés. /* MODELE POUR LA TABLE DEFAUT */ INSERT INTO DEFAUT VALUES (CURRENT_TIMESTAMP, A, 0); INSERT INTO DEFAUT VALUES (CURRENT_TIMESTAMP + 0, , A, 1); Pour comprendre cette requête, il faut savoir comment fonctionne la table défaut : A un instant «Defaut_date», le «Defaut_num» A, est à l état «Defaut_etat» ( 0 ou 1 ). Afin de générer des données logiques, j ai procédé de la façon suivante : A un instant «T» ( ici Current_timestamp ), on prend un défaut «A» ( qui est un nombre entier aléatoire généré par Excel ), et on lui assigne l état «0». Ensuite on assigne à l un instant «T+1sec», l état «1» à ce même défaut. Et on ré - exécute 1500 fois, ces deux requêtes en changeant le numéro de défaut. On a donc, puisqu il y a 2 requêtes, 2*1500 = 3000 requêtes

31 C Création des bases de données et comparatifs Maintenant que les scripts de création des deux bases de données sont prêts, on peut générer les deux bases de données pour chacun des serveurs. C est lors de la création des bases de données que je me suis aperçu que ProgreSQL allait nous poser problème. En effet, lorsque l on crée une base de données en ligne de commandes, on indique le répertoire dans lequel on veut la stocker : // Initialisation : initdb -A trust -E SQL_ASCII "REPERTOIRE_SOUHAITE" // Lancement du serveur : pg_ctl -o -i -D " REPERTOIRE_SOUHAITE " start Je crée donc les deux bases de données en indiquant que je veux les situer dans le même répertoire (ici appelé «REPERTOIRE_SOUHAITE»). Le fait est que la base de données n est pas réellement stockée à cet endroit, mais est plutôt enregistrée de la façon suivante : La première est dans «REPERTOIRE_SOUHAITE /base/ /» et la seconde dans «REPERTOIRE_SOUHAITE /base/ /». Cet aspect pourrait sembler bénin, mais il n en est rien. Est ce que cette solution répond à la contrainte énoncée précédemment? «La base doit faire preuve d une certaine souplesse (Elle doit être portable : il faut impérativement que l on puisse choisir où placer les fichiers de base de données. De même on doit pouvoir l exploiter facilement et de différents endroits du système).» Le logiciel «Supervisor» qui doit utiliser un jour la base de données que je choisis, situe la base dans un répertoire précis. On doit donc pouvoir créer le fichier de base de données où bon nous semble, ce qui n est pas le cas avec ProgreSQL. Bien sûr j ai essayé de déplacer le dit fichier dans le «REPERTOIRE_SOUHAITE». Evidemment lorsque je précise à ProgreSQL que je veux utiliser le fichier de base de données déplacé, il me retourne un message d erreurs m indiquant qu il lui manque des fichiers afin d exécuter ma demande. On ne peut ignorer ce problème, la liste des types de bases de données possibles se retrouve allégée d une solution. Il reste : FireBird et SQL Anywhere Studio. La section qui suit, va présenter divers comparatifs. Tout d abord, une comparaison en termes de poids de l installation des serveurs et des fichiers de base de données. Ceci afin de voir lequel répond au mieux à la contrainte de place sur la Compact Flash. Et ensuite une comparaison des performances, basée sur la génération de la structure des bases et de leur données. A noter que toutes les comparaisons sont faites avec Paradox, afin de comparer avec le système actuel, et avec MySQL réputé pour sa grande vélocité

32 - Comparaison de poids d installations des serveurs Paradox : 14,639,794 bytes FireBird : 26,939,017 bytes = FireBird (7,519,947 bytes) + IBExpert (19,419,070 bytes) MySQL : 51,003,263 bytes SQL Anywhere : 243,240,087 bytes Note : IBExpert est une interface graphique permettant d interagir beaucoup plus facilement avec les serveurs FireBird. Il n est pas obligatoire, mais il est vraiment utile. Comme vous pouvez le constater, le poids de l installation basique de «SQL Anywhere» est presque dix fois plus importante que l installation basique de FireBird. L installation même de FireBird ne fait que 7,520 KBytes. Puisque le poids de la version «normale» est relativement faible et propose plus de fonctionnalités que la version FireBird embedded, il n est donc pas vraiment utile d employer sa version embarquée. - Comparaison de poids des fichiers de bases de données Pour la base de données CONFIGURATION : Paradox : 86,016 bytes MySQL : 768,142 bytes SQL Anywhere : 2,785,280 bytes FireBird : 3,096,576 bytes Pour la base de données STATISTIQUE : Paradox : 147,456 bytes MySQL : 1,110,417 bytes FireBird : 3,031,040 bytes SQL Anywhere : 4,915,200 bytes Ainsi on remarque que pour une base de petite taille avec des tables reliées, la base de données SQL Anywhere utilise moins de place que FireBird. Pour une base plus importante, FireBird reprend l avantage. - Comparaison des performances Afin d évaluer les performances de chaque système de base de données, il a été choisi de mesurer le temps de création des structures des bases et de la génération de leur données. En effet cela équivaut à de nombreuses écritures en base en quelques secondes, et cela répondra ainsi à la contrainte correspondante. J ai opté pour des histogrammes pour une visualisation plus nette des résultats. Pour obtenir les temps en milli seconde (ms) présents sur les graphiques, j ai répété dix fois les tests de performances en notant les temps de génération, et j ai ensuite calculé la moyenne