DGALN. Aide à l utilisation de ImportDVF+

Transcription

1 DGALN Aide à l utilisation de ImportDVF+ Crédit photo : Arnaud Bouissou/METL-MEDDE Mars Septembre

2 Bordereau Documentaire Informations du document Nature du rapport : Intermédiaire Définitif Diffusion : Confidentiel (diffusion réservée au Cerema) Diffusion restreinte Diffusion libre Maître d ouvrage DGALN Historique des versions du document Version Date Commentaire /09/2015 Version corrigée à la suite de tests utilisateurs /05/2015 Version initiale Auteurs Antoine HERMAN - Cerema Direction territoriale Nord Picardie / RDT / SFEG Tél Courriel : antoine.herman@cerema.fr Jérôme DOUCHE - Cerema Direction territoriale Nord Picardie / RDT / SFEG Tél Courriel : jerome.douche@cerema.fr Contributrices Jamila BOURRICH - Cerema Direction territoriale Nord Picardie / RDT / SFEG Tél Courriel : jamila.bourrich@cerema.fr Magali JOURNET - Cerema Direction territoriale Nord Picardie / RDT / SFEG Tél Courriel : magali.journet@cerema.fr Résumé Le CEREMA a travaillé, pour le compte de la DGALN et dans le cadre de sa participation au GNDVF, à l élaboration d un modèle de données facilitant l utilisation des données «Demande de Valeurs Foncières» (DVF). Ce modèle, baptisé DVF+ (voir le document Modèle DVF+), peut être créé facilement à l aide d une application également développée par le CEREMA. Ce document présente cette application d importation des données «ImportDVF+». Page 1

3 Sommaire Description de l'application ImportDVF+...3 Faciliter l'import de données brutes DVF...3 Pré-requis... 3 Note de Version... 3 Version Version Installation de l'application ImportDVF+...4 Utilisation de l'application ImportDVF+...5 Etape 1 - Configuration des Informations du serveur...5 Etape 2a Sélection et classement des fichiers DVF bruts à importer...6 Etape 2b Modification manuelle de la liste des fichiers DVF bruts à importer...7 Etape 3 Sélection des fichiers annexes à importer...7 Etape 4 Lancement de la phase d importation...8 Organisation des schémas dans la base de donnée...8 Conseil relatif à l ordre d importation à partir de ImportDVF+...9 Résultats de l importation...9 Consultation du fichier log...9 Consultation des scripts SQL d importation...9 Consultation des fichiers importés dans PostgreSQL...9 Page 2

4 Description de l'application ImportDVF+ En octobre 2014, le CEREMA a publié plusieurs scripts SQL visant à importer des données DVF dans une base PostgreSQL selon le modèle de données «ADEF- Expertise». Faciliter l'import de données brutes DVF Le but de l'application «ImportDVF+» est de faciliter encore d'avantage l'importation de données brutes «Demande de Valeurs Foncières» dans une base de données PostgreSQL. Grâce à cet outil, aucune exécution manuelle de scripts n'est désormais nécessaire. Les données brutes et calculées sont automatiquement importées selon le modèle DVF+ du CEREMA (voir document Modèle DVF+). Attention, toute importation effectuée avec cette application écrasera les données précédemment intégrées. Toute nouvelle importation nécessite de ré-importer l ensemble des données brutes. Pré-requis Avant de pouvoir utiliser l'application ImportDVF+, il convient d'avoir préalablement : installer une version de PostgreSQL 9.2 ou supérieure 1 ; créer une base de donnée vide dans PostgreSQL (nommée, par exemple, «dvf» ou «dvf_plus») dans laquelle seront importées les données DVF ; avoir des droits d administration sur la base de données. Note de Version A ce jour, l application a été développée en Python 3.2 et est disponible en version 32bits ou 64 bits. Elle a été testée sous des environnements Microsoft Windows 7, 64bits. Version 1.1 Version non beta septembre 2015 Des évolutions ont été apportées à la suite d une phase de test auprès de plusieurs utilisateurs : ajout du champ «idpar» dans la table «local» pour la cohérence avec le modèle DVF+, diminution du nombre de caractères à 45 pour les champs «commune» et «libnatmut», fichiers proposés par défaut pour l import des fichiers annexes (répertoire ressources de l application), changement du format du fichier csv permettant la création des champs, découpage plus fin des proportions d avancement lors de la création des tables «mutation», «disposition_parcelle» et «local» pour que l utilisateur perçoive mieux la progression, effacement du fichier tampon à l issue de l importation, modification de la fenêtre «à propos de» : ajout de la date de version et remplacement du tableau des variables par un lien vers la documentation en ligne. Version 1.0 Version initiale mai L application est, à priori, compatible pour les versions 9.x de PostgreSQL Page 3

5 Installation de l'application ImportDVF+ L'installation et l exécution de l'application est très simple : Étape Action 1 Extraire (avec 7zip, par exemple) le fichier importdvfplus_v1_1.zip dans un répertoire local de votre choix. 2 Lancer l'exécutable importdvf.exe pour démarrer l application. Utilisation de l'application ImportDVF+ L interface de l application comporte trois blocs principaux à compléter avant le lancement de l importation: «Informations serveur», «Fichiers à importer» et «Fichiers annexes à importer». Elle se présente sous la forme suivante : Interface graphique de l application ImportDVF+ Page 4

6 Etape 1 - Configuration des Informations du serveur Les informations relatives au serveur sur lequel est installé PostgreSQL et à la base qui va accueillir les données à importer sont à saisir dans les différents champs du premier bloc «Informations serveur» : Hôte Port Nom d utilisateur Mot de passe Base de données description Nom de l hôte ou Adresse IP du serveur sur lequel est installé PostgreSQL. Numéro du Port sur lequel l application PostgreSQL écoute Nom d utilisateur pour la connexion à la base de donnée PostgreSQL. Mot de passe associé à l utilisateur défini dans le champ précédent Nom de la base de donnée qui accueillera les données à importer (nota : si des données existent déjà dans cette base, elles seront effacées). Celle-ci doit avoir été créée au préalable. exemple localhost ou (si PostgreSQL est installé sur la même machine que l application ImportDVF+) 5432 (valeur par défaut) postgres dvf_plus Tant que les informations de connexion ne sont pas valides, l ensemble des champs apparaîtront en rouge. Etape 2a Sélection et classement des fichiers DVF bruts à importer La liste des fichiers qui seront importés par l application ImportDVF+ est à définir dans le second bloc «Fichiers à importer». Il s agit de définir une liste triée selon l ordre dans lequel l on souhaite importer les données (cf ci-après, «Conseil relatif à l ordre d importation à partir de ImportDVF+»). Pour cela, il faut choisir, en cliquant sur le bouton «Ouvrir», le répertoire d entrée qui contient le (ou les) fichiers obtenu(s) via le service «Demande de valeurs foncières» de la DGFiP que l on souhaite importer. Nota : L application considérera que les fichiers bruts de la DGFiP n ont pas subi de modification et que, par conséquent : les fichiers sont au format.txt, les fichiers sont encodés en «utf-8», la première ligne de chacun des fichiers correspond à l entête, le séparateur de champ est le caractère. Lorsque la sélection du répertoire est effectuée, l application : effectue une vérification des fichiers (.txt) présents dans le répertoire, propose un classement des fichiers en positionnant en premier les fichiers comportant les dates de mutation les plus récentes (cf ci-après, «Conseil relatif à l ordre d importation à partir de ImportDVF+»), affiche la liste des fichiers, ordonnée selon le classement défini ci-dessus, dans l interface. Page 5

7 Exemple d affichage d une liste des fichiers DVF triés. Etape 2b Modification manuelle de la liste des fichiers DVF bruts à importer Les trois boutons situés à droite de la liste permettent d intervenir manuellement sur la liste des fichiers : flèche vers le haut : remonte le fichier sélectionné dans la liste ordonnée de fichiers, flèche vers le bas : descend le fichier sélectionné dans la liste ordonnée de fichiers, croix rouge : supprime le fichier sélectionné de la liste. Ce fichier ne sera, par conséquent, pas importé par la suite. Etape 3 Sélection des fichiers annexes à importer Les trois fichiers annexes qui seront importés par l application ImportDVF+ sont à définir dans le troisième bloc «Fichiers annexes à importer». Ces fichiers doivent impérativement être importés pour que la création de la base de donnée s effectue. Pour cela, il faut choisir, en cliquant sur les boutons «Ouvrir», les trois fichiers annexes (format csv) obtenus via le service «Demande de valeurs foncières» de la DGFiP et relatifs aux articles CGI, aux natures de culture et aux natures de culture spéciale. Les chemins d accès à ces fichiers s affichent alors dans les champs correspondants. Exemple d affichage des chemins d accès aux fichiers annexes Page 6

8 Etape 4 Lancement de la phase d importation Une fois les étapes précédentes réalisées, il reste à cliquer sur le bouton Démarrer pour lancer l importation. Selon le nombre et la taille des fichiers à importer ainsi que le type de machine, le temps d importation peut être très variable (de quelques minutes à plusieurs heures). La barre de progression permet d indiquer l état d avancement. A l issue de l importation, le message «Création de la base DVF+ terminée.» s affiche. La base de données est désormais utilisable. Organisation des schémas dans la base de donnée Lors de l importation, l application «ImportDVF+» crée plusieurs schémas dans la base de données : Nom du schéma dvf dvf_annexe dvf_dxx Tables contenues dans le schéma adresse, adresse_dispoparc, adresse_local, disposition, disposition_parcelle, local, lot, mutation, mutation_article_cgi, parcelle, suf, volume ann_cgi, ann_nature_culture, ann_nature_culture_speciale, ann_nature_mutation, ann_type_local adresse, adresse_dispoparc, adresse_local, disposition, disposition_parcelle, local, lot, mutation, mutation_article_cgi, parcelle, suf, volume description Schéma principal. L ensemble des tables contenues dans les schémas départementaux hérite des tables de ce schéma. Schéma contenant les tables annexes. Schéma départemental. Pour chaque département identifié dans les données brutes, un schéma départemental est créé (XX correspond au numéro de département). Les données sont contenues dans les tables des schémas départementaux mais il est tout à fait possible (par le jeu des héritages) d accéder aux données de l ensemble des tables départementales par les tables du schéma principal (dvf), notamment pour effectuer des requêtes qui concernent plusieurs départements. Visualisation (sous pgadmin III) des schémas créés à la suite de l importation de données DVF de la région Nord-Pas-de-Calais Page 7

9 Conseil relatif à l ordre d importation à partir de ImportDVF+ Lors de l importation des différentes mutations dans la base de donnée, si une mutation est déjà apparue («code service» et «référence du document» identique) dans un fichier préalablement importé, elle sera ignorée par l application. Cela a plusieurs conséquences : Il est préférable d importer les fichiers de millésimes les plus récents (qui auront des données, à priori, plus complètes) avant les fichiers de millésimes les plus anciens. C est dans ce sens que la proposition automatique de classement (étape 2a) positionne en premier les fichiers ayant les dates de mutation les plus récentes. Il est nécessaire de ré-importer l intégralité des données lors de l arrivée d un millésime plus récent. Résultats de l importation Consultation du fichier log En parallèle de la création de la base de données, plusieurs fichiers de résultat sont créés au cours de l importation et enregistrés dans le répertoire sorties/ du dossier contenant l exécutable importdvf.exe. L application enregistre dans le fichier log.txt, pour chaque fichier importé et pour chacune des tables du modèle, le nombre de lignes intégrées. --- ETAT DES MISES A JOUR --- dvf_livraison_2011 Nb lignes avt import Nb lignes apr import Nb lignes importées Table mutation Table mutation_art_cgi Table disposition Table parcelle Table disposition_parcelle Table adresse Table local Table volume Table suf Table lot Table adresse_dispoparc Table adresse_local dvf_livraison_2010 Nb lignes avt import Nb lignes apr import Nb lignes importées Table mutation Table mutation_art_cgi Table disposition Table parcelle Exemple - début d un fichier log.txt Consultation des scripts SQL d importation Consultation des fichiers importés dans PostgreSQL L application enregistre également, dans les fichiers script_dvf.sql et script_dvf_plus.sql, l ensemble des commandes SQL exécutées au cours de l importation. Enfin, l application crée une table import_infos dans le schéma dvf_annexe. Cette table liste les noms des fichiers qui ont été importées dans la base de données. Page 8