Alexandre ROLLET. Staff du 23 mars 2011

Transcription

1 Alexandre ROLLET Staff du 23 mars

2 PLAN Le registre général des cancers de Poitou-Charentes Le géocodage Sélection du code postal Attribution des adresses Test sur 100 tumeurs avec l API Google 2

3 Registre général des cancers de la région Poitou-Charentes Date de création du registre : Novembre 2007 Lieu d implantation : Faculté de Médecine CCTIRS : avis favorable le 27 septembre 2007 CNIL : notification d autorisation le 15 février 2008 Moyens : 1 ETP épidémiologiste, 2 ETP ARC 3

4 Registre général des cancers de la région Poitou-Charentes Evènement(s) de santé : Tous les cas de tumeurs malignes invasives (hémopathies malignes et tumeurs solides en-dehors des carcinomes baso-cellulaires de la peau), les tumeurs in situ, les tumeurs borderline des ovaires, et les tumeurs bénignes ou d évolution imprévisible du cerveau et de la vessie. Les adénomes avancés colorectaux font l objet d un enregistrement passif. 4

5 Registre général des cancers de la région Poitou-Charentes Zones couvertes : 16, 17, 79, 86 = 1.8 million d habitants Nb de cas notifiés annuellement : en tumeurs dont 7000 infiltrantes pour 2008 Principales sources de données : Structures d anatomie et de cytologie pathologie (ACP) : HR Départements d information médicale (DIM) : HR Services médicaux de l assurance maladie (AMA) : 3 Centres de Lutte Contre le Cancer (EPC) : 4 Centres de concertation pluridisciplinaire (RCP) : 2 5

6 6

7 Registre général des cancers de la région Poitou-Charentes Motivation : Déficit d information épidémiologique Besoin d information des décideurs chargés de la santé Objectifs : Aider à l évaluation des politiques publiques auprès de l ARS Participer à la production des statistiques nationales (FRANCIM) et internationales (CIRC) Axes de recherche : Evaluation des déterminants de l accès au dépistage et de l accès au soins la classification automatisée de l information textuelle contenue dans les comptes rendus d anatomie et de cytologie pathologie informatisés 7

8 Registre général des cancers de la région Poitou-Charentes Particularités : Automatisation +++ des procédures de traitement des données en amont de l enregistrement des cas éligibles par le registre Création automatique de la totalité des tumeurs par la procédure et attribution : d une date de diagnostic d une topographie CIM-O3 d'une morphologie CIM-O3 d une base du diagnostic d un niveau de validité nulle Validation manuelle de chaque cas par le personnel du registre Développement de procédures : traçabilité, qualité, exhaustivité des données validées 8

9 Registre général des cancers de la région Poitou-Charentes Données recueillies : Obligatoires (recommandations FRANCIM et ENCR) : Données d identification : Nom, prénom, date de naissance, sexe Lieu de résidence habituel à la date du diagnostic Diagnostic et stade : Date d incidence, base du diagnostic, topographie et morphologie de la tumeur Sources de signalement : ACP, DIM, AMA, RCP, EPC + TNM pour les 6 localisations soumises au dépistage 9

10 Registre général des cancers de la région Poitou-Charentes Lieu de résidence : Le registre doit enregistrer tous les cas de tumeurs de patients domiciliés en région. Un code postal doit être associé à chaque tumeur et représente le lieu de résidence habituel à la date de diagnostic. Code postal indispensable pour produire des données d incidence départementale Insuffisant pour les rapporter aux données provenant des statistiques descriptives de l Insee (niveau iris +++) Attribuer des coordonnées géographiques par géocodage à partir de l adresse Carte Poitou-Charentes 10

11 Géocodage La géolocalisation ou géoréférencement est un procédé permettant de positionner un objet (une personne,...) sur un plan ou une carte à l'aide de ses coordonnées géographiques (par géocodeur, par satellite, par GSM, par wifi, par adresse ip ). Le géocodage = une des techniques de géolocalisation ou de géoréférencement affecter des coordonnées géographiques à un fichier d'adresses Les coordonnées géographiques permettent de positionner chaque adresse sur une carte numérique via un Système d'informations Géographiques (SIG) 11

12 Géocodage le géocodage à la volée. Validation éventuelle demandée au compte goutte. = Usage quotidien du site Google maps par les particuliers. Utilisé dans les interfaces homme-machine. le géocodage de masse. Des lots d adresses sont géocodées automatiquement. Les rejets, doivent alors être traités par un opérateur. Ce système peut être utilisé lorsque des adresses sont échangées entre deux organisations. Il est ainsi utilisé dans les interfaces machine-machine. 12

13 Géocodage Automatisation du géocodage : le géocodeur solution logicielle, brique logicielle ou service en ligne (API = Application Programming Interface) associe à chaque adresse des coordonnées pouvant être fournies dans différentes projections confronte l adresse (numéro de voie, la répétition, le type de voie, le nom de la voie, la ville, et le code postal ) à un référentiel d'adresses préalablement localisées En France (1 code postal = très grand nombre d'adresses), la précision du géocodage est moindre qu en Angleterre (adressage de codes postaux au bloc d adresse) 75% des adresses peuvent être géocodées au n dans la rue, 15% au centre de la rue et 10% au centre de la commune 13

14 Géocodage Manque de précision du référentiel ou de l'adresse Différents niveaux de précision de géocodage pays, département, ou commune (voire à l'arrondissement): point a/n centroïde de l'entité concernée centroïde de la voie : lorsque le numéro n'est pas connu, le point se situe au centre de la voie interpolation du tronçon : le géocodage au n dans la rue est fait par technique d'interpolation. Le géocodage interpole la position du numéro de la rue à partir des bornes du référentiel sur le dessin de la rue. plaque : certains référentiels d'adresses disposent de l'emplacement exact de la plaque mentionnant le numéro de l'immeuble ou de la maison. 14

15 Algorithme d'attribution des codes postaux Intégration de l'algorithme dans le programme de notification des tumeurs insertion d un module dans le programme de notification des tumeurs: 1-préparation des sources 2-sélection Berg à notifier 3-date d'incidence 4-gestion des tumeurs valides 5-codage des tumeurs 6-Attribution du code postal 15

16 Algorithme d'attribution des codes postaux Exécution sur toutes les tumeurs de niveau 0 Le choix du code postal s'effectue parmi toutes les sources relatives au patient et situées dans un intervalle de temps de plus ou moins 3 mois autour de la date d'incidence de la tumeur d'intérêt Règles appliquées : Exclusion des sources avec des codes postaux vides ou non valides (moins de 5 caractères, caractère non numérique) Fiabilité : source ACP > source DIM > source EPC Si plusieurs codes postaux différents avec : des dates différentes choix du code postal provenant de la source la plus proche de la date d'incidence des dates identiques choix du code postal le plus petit pour pallier au problème de relecture de lame où la boîte postale du centre envoyant la lame est renseignée 16

17 Algorithme d'attribution des codes postaux Certaines tumeurs seront étiquetées dans la base afin de faire apparaître un fond rouge dans la zone réservée au code postal sur le formulaire de validation: si l'algorithme n'a pas réussi à attribuer de code postal si l'algorithme a du choisir entre plusieurs codes postaux différents, dans ce cas l'utilisateur devra manuellement valider le code postal grâce à une case à cocher 17

18 Service national de l adresse L adresse en France est définie par les règles de la norme AFNOR XP Z L adresse postale =ensemble des informations fournies par le client émetteur et nécessaires à la remise du courrier au client destinataire sans recherche ni équivoque dans le cadre des prestations offertes par l opérateur postal. 2 types d informations : nominatives (privées), permettant d atteindre personnellement et nommément chaque personne géographiques (publiques), permettant d identifier le point de contact et de distribution. 18

19 Service national de l adresse L adresse est la somme d informations aussi éparses que non «officielles» ou référencées. Code Postal fourni par La Poste Libellé de la localité à partir d informations issues de la mairie Libellé de la voie à partir d une plaque de rue ou à partir d une facture d un organisme de service N à partir de la numérotation présente sur le domicile Eléments de l environnement proche (étage, appartement, escalier...) 19

20 Service national de l adresse Ligne 1 : destinataire Particulier : civilité, titre, qualité, nom et prénom Entreprise : raison sociale, identité du destinataire final en ligne 2 de l adresse Ligne 2 et 3 : compléments d adresse Intérieur : numéro d appartement, boite à lettres, étage, couloir, escalier Extérieur : bâtiment, entrée, résidence, lotissement Ligne 4 : la voie Numéro : pair ou impair, différent de 0, 4 chiffres, unique, accompagné d une lettre ou d une extension (B, T, Q, C pour BIS, TER, QUATER, QUINQUIES) Type : avenue, rue, faubourg, allée, chemin, cours, boulevard, impasse, lieu-dit Nom de voie Ligne 5 : services postaux spécifiques (BP) et lieu-dit Ligne 6 : Le code postal, le CEDEX = données d organisation postale, la localité 20

21 Expressions régulières ou rationnelle (regex) = chaîne de caractères que l on appelle parfois un motif et qui décrit un ensemble de chaînes de caractères possibles selon une syntaxe précise. issues des théories mathématiques des langages formels des années 1940 utilisées dans l édition et le contrôle de texte, manipulation des langues formelles adoption en informatique

22 Expressions régulières ou rationnelle (regex) Exemple 1 : Extraction du numéro de téléphone inclus à tort dans adresse vers num_tel, et suppression dans adresse if _n_=1 then do; prx_temp5="((\d\d\s*\d\d\s*\d\d\s*\d\d\s*\d\d)\s*(.+))"; prx10= "/" prx_temp5 "/"; déclaration regex 10 prx11= "s/" prx_temp5 "/ /"; déclaration regex 11 prxid10= prxparse(prx10); compilation regex 10 prxid11= prxparse(prx11); compilation regex 11 end; if prxmatch(prxid10, adresse) then do; si concordance au motif trouvée call prxposn(prxid10, 1, position, taille); récup position du groupe if position >0 and taille>0 and num_tel = '' then do; num_tel=substr(adresse, position, taille); extraction chaine de caractères end; adresse=prxchange(prxid11,-1,adresse); remplacer le motif 22

23 Expressions régulières ou rationnelle (regex) Exemple 2 : suppression des adresses dupliquées if _n_=1 then do; prx_temp8="((\d+)\s?(.+))(\2)\s?(\3)"; prx15= "/" prx_temp8 "/"; prx16= "s/" prx_temp8 "/$1/"; prxid15= prxparse(prx15); prxid16= prxparse(prx16); end; if prxmatch(prxid15, adresse) then do; adresse=prxchange(prxid16,-1,adresse); end; 23

24 Expressions régulières ou rationnelle (regex) Exemple 3 : suppression du texte entre parenthèse if _n_=1 then do; prx_tempa="(.+)(\(.+\))(.+)"; prxa= "/" prx_tempa "/"; prxb= "s/" prx_tempa "/$1$3/"; prxida= prxparse(prxa); prxidb= prxparse(prxb); end; call prxposn(prxida, 1, position, taille); adresse=prxchange(prxidb,-1,adresse); 24

25 Expressions régulières ou rationnelle (regex) Exemple 4 : Extraction des principaux éléments de l adresse if _n_=1 then do; prx1="/\s?0*\s?(([^1-9]+)?(\d\d?\d?\d?\s?)(et\s)? (\d\d?\d?\d?\s?)?([a-k]\s [M-Q]\s [S-Z]\s BIS\s)?)?\s*" "(RUE(?!LLE) ROUTE VENELLE ALLEE IMPASSE PLACE\s BOULEV ARD CHEMIN\s FAUBOURG LIEU\sDIT VOIE\s " "COURS\s COUR\s AVENUE SQUARE RUELLE QUAI\s HAMEAU\s SENTIER\s PASSAGE\s CLOS\s RAMPE\s FIEF\s)?\s*" "(D\s DU\s DES\s DE\s(LA\s L\s)? L\s LE\s LA\s LES\s)?\s*" "0*(.+)?\s*/"; déclaration regex prxid1= prxparse(prx1); compilation regex 25

26 Expressions régulières ou rationnelle (regex) if prxmatch(prxid1, adresse) then do; cherche dans la source et retourne la position si trouvé ou 0 si non trouvé call prxposn(prxid1, 3, position, taille); renvoie la position et la taille d un groupe après un prxmatch if position >0 and taille >0 and num_voie = '' and typ_voie = '' then do; num_voie=substr(adresse, position, taille); end; call prxposn(prxid1, 6, position, taille); if position >0 and taille>0 and num_voie_cplmt = '' and typ_voie = '' then do; num_voie_cplmt=substr(adresse, position, taille); end;.. 26

27 Expressions régulières ou rationnelle (regex) Exemple 5 : prx_temp7b= "((?<!LA\s)RESIDENCE\s.+ LOTISSEMENT.+ PARC\sRESIDENTIEL.+ ZONE\sARTISANALE.+ (?<!LA\s)CITE\s(?!JARDIN).+ HLM\s.+ D OMAINE\s.+ IMMEUBLE\s.+ BATIMENT\s.+)"; 27

28 Algorithme d'attribution des adresses Sélection des adresses Sélection des tumeurs incidentes de niveau 2 et 3 dans la base registre.tumeur_registre. Pour chaque tumeur avec un code postal associé, sélection des adresses présentes dans les différentes sources (ACP, AMA, DIM, EPC) sur une période de plus ou moins 3 mois autour de la date d'incidence grâce à une jonction sur le code postal. Suppression des lignes avec codes postaux invalides (non présents dans la table des codes postaux) et des lignes avec des adresses vides. 28

29 Algorithme d'attribution des adresses Nettoyage concaténation d'adresse1, adresse2, adresse3 et suppression des espaces surnuméraires Suppression du texte entre parenthèse, de l'accentuation et des caractères spéciaux dans les champs adresse, ville. Mise en majuscules. Nettoyage des abréviations (types de rue, compléments d'adresse et autres abréviations fréquentes) et correction des fautes d'orthographe fréquentes. Suppression des lignes doublonnées. Suppression du code postal et/ou du nom de la ville quand ceuxci sont présents dans les champs réservés à l'adresse. Suppression du code postal lorsqu'il est présent dans le champ ville 29

30 Algorithme d'attribution des adresses Extraction des informations non essentielles + suppression dans «adresse» CEDEX. Boîte postale et CIDEX Complément d'adresse interne. (appartement, chambre, logement, pavillon, couloir, étage, escalier, entrée, porte, hall) Numéro de téléphone +/- commentaire renseigné à tort dans les champs relatifs à l'adresse Type d'hébergement. (chez M. ou Mme, camping, USLD, long séjour, hôpital, foyer, CSPA, maison de retraite, ADAPGV ) Suppression des adresses dupliquées au sein du champ adresse_fusion. Extraction du complément d'adresse externe. (cité, HLM, domaine, bâtiment, résidence, lotissement, zone artisanale, zone industrielle) Extraction des éléments principaux de l'adresse. (numéro de voie, type de voie, articles, nom de la voie) Ajout de LIEU DIT dans typ_voie (si vide) quand le nom de voie commence par 'CHEZ' Ajout de la CITE extraite de cplmt_adresse_ext, dans nom_voie (si vide) Ajout de LOTISSEMENT extrait de cplmt_adresse_ext, dans nom_voie (si vide) Suppression des doublons 30

31 Algorithme d'attribution des adresses Pré-traitement avant sélection hiérarchisée Numérotation croissante en fonction du nombre d'habitants des communes qui ont le même cpost dans la table de nomenclature. Repérage des adresses pour lesquelles une association villecpost a été retrouvée dans la table de nomenclature des cpost. Séparation de la table de tumeurs avec adresses en 2 tables : tum_adresse_unik qui contient les tumeurs avec 1 seule adresse et tum_adresse_multi qui contient les tumeurs avec plusieurs adresses et où l'algorithme devra choisir une seule adresse (en attendant d'avoir une base de référence des noms de voie). 31

32 Algorithme d'attribution des adresses Sélection hiérarchisée des adresses et attribution d'une adresse pour chaque tumeur 1-Préférence des lignes avec l'adresse la plus complète et dont le nom de ville associé au code postal se trouve dans la table de nomenclature des codes postaux. 2-Préférence de l'adresse dont le nom de ville a le même nombre d'espaces que le nom de ville de la table des codes postaux 3-Préférence de la ligne avec l'adresse la plus complète 4-Préférence de la ligne avec un type de voie validé par le service national de l'adresse (avenue, faubourg, rue, allée, chemin, cours, boulevard, impasse, lieu dit) 5-Préférence de la ligne avec un type de voie autre que rue, considéré comme plus générique 6-Suppression des adresses avec des initiales de prénom dans le nom de la voie lorsque le prénom complet est renseigné sur une autre ligne 7-Préférence de la ville avec la population la plus forte lorsqu'une tumeur possède deux adresses identiques mais avec une ville valide différente 8- Préférence de l'adresse avec le nom de voie le plus court 9-Préférence de la première ligne d'adresse. 32

33 Test sur 100 adresses du registre qui utilise l'api Google considéré comme le plus performant Chaque adresse est géocodée 2 fois : avec son adresse complète et avec le code postal et la ville. Le géocodage avec l'adresse complète est préféré sauf si le résultat renvoyé est hors région, dans ce cas le géocodage par le code postal et la ville est privilégié. Code Niveau d'exactitude 0 Localisation impossible. (Depuis 2.59) 1 Pays. (Depuis 2.59) 2 Région (état, province, préfecture, etc.). (Depuis 2.59) 3 Région secondaire (comté, municipalité, etc.). (Depuis 2.59) 4 Ville (ville, village). (Depuis 2.59) 5 Code (code postal). (Depuis 2.59) 6 Rue. (Depuis 2.59) 7 Intersection. (Depuis 2.59) 8 Adresse. (Depuis 2.59) 9 Prémise (Nom d'un bâtiment, d'une propriété, d'un centre commercial, etc.). (Depuis 2.105) 35

34 Test sur 100 adresses du registre Résultats : 100 adresses retournées avec un code 200 (= résultat trouvé par l'api) 53 géocodées à l'adresse (précision 8) 18 géocodées à la rue (précision 6) 9 géocodées au code postal (précision 5) 7 adresses valides trouvées avec une recherche manuelle pas d'adresse, géocodage à partir du cpost et de la ville : 1 19 géocodées à la ville (précision 4) lieu dit ou petit village sans nom de rue sur Google Map : 9 pas d'adresse, géocodage à partir du cpost et de la ville : 3 1 géocodée (précision 9) 36