Procédure de migration vers PostgreSQL

Transcription

1 Procédure de migration vers PostgreSQL Etude et réalisation d une solution de migration d une base de données ORACLE vers un système libre PostgreSQL ou MySQL. Réf. : Procédure de migration PostgreSQL V1.0 Projet : Emetteur : Date d émission : Benjamin DAVY El Hadj LAÏMOUCHE Validation Migration SGBD Mail : cpi06_davybe@isaip.org Mail : cpi06_laimel@isaip.org le 19/12/07 Nom Date Validation (O/N) Commentaires Historique des modifications Version Date Etat Description de la modification El Hadj LAÏMOUCHE Benjamin DAVY Page 1

2 Table des matières 1) Préambule ) Ora2pg ) Présentation ) Utilisation )1. Fonctionnement )2. Export de la structure )3. Export des données )4. L outil ) Configuration )1. Général )2. Connexion à la base Oracle )3. Configuration du schéma à exporter )4. Configuration du type d export à réaliser )5. Import direct dans une base PostgreSQL ) Exécution d Ora2Pg ) Résumé de la procédure de migration ) Conséquences sur l application ) Au niveau des données ) Au niveau de l application ) Conclusion ) Sources... 9 El Hadj LAÏMOUCHE Benjamin DAVY Page 2

3 1) Préambule Ce document présente les différentes étapes et tâches nécessaires à la migration d une base de données Oracle 10g vers une base PostgreSQL C est ici l approche théorique de la migration qui est faite, l étude doit orienter par la suite la décision concernant l adoption de cette procédure. L outil utilisé pour la migration est Ora2pg qui permet d automatiser une partie des traitements nécessaires. Tout d abord, présentation et utilisation d Ora2pg, les phases automatiques puis les étapes nécessitant un traitement manuel et enfin les impacts sur l applicatif. 2) Ora2pg 2.1) Présentation Ora2pg est un module Perl qui scan automatiquement le contenu d une base de données Oracle selon les paramètres fournis dans un fichier de configuration, puis en extrait la structure et les données pour enfin les convertir dans la syntaxe PostgreSQL. Cet outil existe depuis 2001 et en est aujourd hui à sa version 4.5, les récents contributeurs étant des SSII importantes : BULL récemment ouvert et contributeur au monde open source. Ce dernier point confère à l outil un aspect crédible et rassurant pour l entreprise. 2.2) Utilisation 2.2)1. Fonctionnement Le fonctionnement d Ora2Pg suit le déroulement suivant : - Connexion à une base Oracle. - Découverte automatique de la structure et des objets de la base. - Conversion de la base en syntaxe PostgreSQL. - Export dans une base PostgreSQL. 2.2)2. Export de la structure Voici la liste des éléments exportés : - Espace de nommage (NAMESPACE ou SCHEMA). - Table, vue. - Contrainte (clé unique, clés primaire, clé étrangère). - Contrainte de valeur (CHECK). - Index. - Trigger. - Séquence. - Fonction, procédure, package. - Droit (GRANT, ROLE, USER). - Système de fichier (TABLESPACE). El Hadj LAÏMOUCHE Benjamin DAVY Page 3

4 La plupart de ces exportations ne nécessitent aucunes réécritures mis à part les éléments suivants : - Fonction, procédure et package. En raison du langage procédural utilisé par Oracle qui est sensiblement différent et du passage de paramètres des fonctions il est nécessaire de réécrire chacun de ces éléments. - Droit, en raison de la complexité des rôles et des différents utilisateurs "system" sous Oracle. L'implémentation des rôles dans les dernières versions de PostgreSQL permet une meilleure exportation des droits mais ils doivent toujours être examinés. - Tablespace, en fonction du chemin sur le système de fichier. A noter que PostgreSQL prend un répertoire comme chemin du tablespace au lieu d'un fichier pour Oracle. 2.2)3. Export des données Ora2Pg permet aussi d exporter les données d une base Oracle afin de les charger dans une base PostgreSQL, il est possible de le faire dans une base ayant venant d un premier export de la structure ou alors dans une base de structure différente. 2.2)4. L outil Ora2Pg est composé d un module Perl d un script Perl et d un fichier de configuration. Développé sous Linux, Ora2Pg est utilisable sur toutes les plateformes où Oracle, PostgreSQL et Perl sont disponibles. Schéma de l outil : BDD Oracle BDD PostgreSQL Scan / Export Import direct Import manuel Ora2pg.pl Ora2pg.conf Output.sql Ora2Pg.pm El Hadj LAÏMOUCHE Benjamin DAVY Page 4

5 Ora2pg nécessite en plus de Perl 5 plusieurs modules Perl tous disponibles à partir du CPAN (Comprehensive Perl Archive Network) : - DBI - DBD::Oracle - DBD::Pg (optionnel) - Compress::Zlib (optionnel) Le module Perl DBD::Oracle nécessite les librairies du client Oracle 8i ou 9i, les deux étant supportés par Ora2Pg. Le module DBD::Pg requiert l'installation préalable du client PostgreSQL. Il est optionnel car utilisé uniquement pour un chargement direct. Le module Compress::Zlib est utilisé uniquement si ce type de compression est demandé. Les bases de données peuvent être ou non sur la même machine que le logiciel, mais les librairies et modules Perl doivent être installés. 2.3) Configuration 2.3)1. Général Le script peut être configuré de manière très simple : indiquer la base et le type d export à effectuer. Il est aussi possible d être plus pointu : - sélectionner certaines tables et champs à exporter, - renommer certaines tables et champs lors de l'export, - exporter les données en fonction d'une clause WHERE suivant les tables, - retarder l'application des contraintes lors de l'insertion des données, - compresser les données exportées pour préserver l'espace disque. Toutes ces possibilités de configuration sont accessibles à partir du fichier de configuration ora2pg.conf. 2.3)2. Connexion à la base Oracle Il y a 4 directives qui servent à paramétrer l'accès à la base de données Oracle à exporter : - ORACLE_HOME qui permet de positionner le chemin des librairies du client Oracle pour le module DBD::Oracle. - ORACLE_DSN qui permet de définir la source de la base de données sous la forme dbi:oracle:host=oradb_host;sid=test - ORACLE_USER et ORACLE_PWD permettant de définir l'utilisateur et son mot de passe sous lequel la connexion sera réalisée. 2.3)3. Configuration du schéma à exporter Lors de l'export de la base l'extraction peut être limitée à un certain schéma ou 'namespace' Oracle, notamment en fonction de l'utilisateur suivant lequel se fait la connexion. La directive SCHEMA permet de donner le nom du schéma sur lequel le travail El Hadj LAÏMOUCHE Benjamin DAVY Page 5

6 doit se limiter. Pour créer et utiliser ce même schéma au niveau de la base de données PostgreSQL de destination il faut donner la valeur 1 à la directive EXPORT_SCHEMA. Par défaut, l'intégralité des objets de la base de données est exportée hormis les objets appartenant aux rôles système suivants : SYS, SYSTEM, DBSNMP, OUTLN, PERFSTAT. 2.3)4. Configuration du type d export à réaliser L'action d'export à réaliser se fait par le biais de la directive TYPE. Voici les valeurs qu'elle peut prendre et leurs significations : - TABLE : extrait la structure des tables avec index, clé primaire, clé unique et clé étrangère. - VIEW : extrait uniquement les vues. - GRANT : extrait les rôles (convertis en groupes PostgreSQL), les utilisateurs et les droits sur les différents objets. - SEQUENCE : extrait les séquences. - TABLESPACE : extrait les espaces de stockage (PostgreSQL >= 8) - TRIGGER : extrait les triggers définis suivant les actions. - FUNCTION : extrait les fonctions. - PROCEDURE : extrait les procédures. - PACKAGE : extrait les packages. - DATA : extrait les données des tables en tant que lignes INSERT. - COPY : extrait les données des tables en tant que blocs COPY. On ne peut réaliser qu'un seul type d'export à la fois, l'utilisation de la directive TYPE doit donc être unique. Certains types d'export ne peuvent pas être chargés directement dans la base PostgreSQL et nécessitent encore une édition manuelle : GRANT, TABLESPACE, FUNCTION, PROCEDURE et PACKAGE. 2.3)5. Import direct dans une base PostgreSQL Par défaut, l'export des objets ou données de la base Oracle est enregistré dans un fichier. Pour renvoyer le flux des données exportées directement dans la base PostgreSQL de destination il existe 3 directives de configuration : - PG_DSN : chaine de connexion à la base PostgreSQL sous la forme dbi:pg:dbname=pgdb;host=localhost;port= PG_USER : utilisateur PostgreSQL utilisé pour la connexion. - PG_PWD : mot de passe de l'utilisateur. 2.4) Exécution d Ora2Pg Après avoir paramétré le fichier de configuration pour réaliser les actions souhaitées, l export est exécuté de la façon suivante : #> perl ora2pg.pl ora2pg.conf El Hadj LAÏMOUCHE Benjamin DAVY Page 6

7 Le chargement dans PostgreSQL de l export résultant se fait de la manière suivante : #> psql -h pgdbhost databasename < output.sql 2.5) Résumé de la procédure de migration Schéma de la procédure et des principales étapes, sans importation directe des données : Analyse de la BDD Préparation de la machine, installation des modules Perl Renseignement du fichier de configuration Exécution, export dans un fichier SQL Import dans la base de données Vérification des éléments importés Réécriture / Création des éléments non traités par Ora2Pg Intégration des éléments à la base de données Adaptation de l applicatif C est l adaptation de l applicatif qui est le plus long : transformation PL/SQL vers PLpgSQL et l adaptation de l application : PHP/Oracle vers PHP/PostgreSQL par exemple. Suivant la taille de l application, sa complexité et du langage utilisé la transformation de El Hadj LAÏMOUCHE Benjamin DAVY Page 7

8 l application pourra prendre plusieurs semaine alors que la migration de la structures et des données seulement une journée après analyse de la base. 3) Conséquences sur l application 3.1) Au niveau des données Voici la table de conversion des données effectuée par Ora2Pg : Ces modifications, bien que peu nombreuses ont une incidence directe sur les opérations procédurale de l application ainsi que les requêtes SQL. 3.2) Au niveau de l application Les impacts au niveau de l application sont multiples, comme mentionné précédemment les requêtes SQL doivent être adaptées de même que les procédures PL et le code JAVA/PHP/C# suivant le logiciel. Le chargement de données avec un fichier à plat est aussi différent et utilise la fonction COPY FROM à la place de l utilitaire Sqlldr (Sql*Loader). Il existe aussi des différences grammaticales pour les éléments suivant : - SYSDATE, DECODE, NVL - Séquences - Jointure externe - PL/SQL 4) Conclusion Ora2Pg permet d automatiser une grande partie de la base de données, les modifications des types de données restent minimes et grâce aux nombreuses fonctionnalités supportées par PostgreSQL les procédures, triggers, droits sont adaptables et la relative proximité du PLpgSQL avec le PL/SQL permet une réécriture facilitée. El Hadj LAÏMOUCHE Benjamin DAVY Page 8

9 5) Sources - Fichier README Ora2Pg El Hadj LAÏMOUCHE Benjamin DAVY Page 9