Comparaison des performances de méthodes statistiques pour la détection d évènements inhabituels

Transcription

1 Comparaison des performances de méthodes statistiques pour la détection d évènements inhabituels GT «Méthodes Statistiques» : A. Fouillet, F. Golliot, N. Caillère, I. Gaillard, C. Kamali, Y. Le Strat, A. Verrier, V. Wagner, C. Flamand, L. Léon, N. Mas, L. Mandereau-Bruno, E. Tenret, G. Manet, J. Pouey, O. Retel Journée Oscour - 16 décembre 2008

2 Contexte 2004 : Mise en place d une surveillance non spécifique à l InVS, à partir : - des Urgences : réseau «Oscour», - des urgences de ville : SOS Médecins (2006), - des décès : Insee SURSAUD SURveillance SAnitaire des Urgences et des Décès 2007 : Début d un travail sur les orientations stratégiques pour l analyse des données de Sursaud Incluant une réflexion sur le choix des méthodes statistiques Création du Groupe de Travail «Méthodes statistiques» 2 Journée Oscour 16 décembre 2008

3 Objectifs - Identifier les méthodes statistiques les plus performantes pour la détection d évènements inhabituels selon : - l indicateur étudié (morbidité / mortalité) - les caractéristiques des séries temporelles (effectifs / tendance / saisonnalité ) - les caractéristiques de l événement à détecter (durée / impact sanitaire / ) - Quantifier les performances et limites possibles des différentes méthodes 3 Journée Oscour 16 décembre 2008

4 Démarche générale Etape 1 : Sélection de méthodes statistiques A partir d une revue de la littérature et sur la base de différents critères Etape 2 : Choix de séries temporelles pour l étude Introduction par simulation d évènements inhabituels à détecter Etape 3 : Implémentation des méthodes sélectionnées à l étape 1 Calcul de leurs performances à détecter des évènements simulés Etape 4 : Comparaison et synthèse des performances des méthodes 4 Journée Oscour 16 décembre 2008

5 Etape 1 : Sélection des méthodes statistiques Revue de la littérature internationale (~ 80 articles) sur les méthodes statistiques utilisées pour la détection d évènements sanitaires (épidémies, bioterrorisme, ) Classement et sélection des méthodes sur trois critères : - automatisation facile des méthodes sur un grand nombre de séries analyse en routine, pas de paramétrages trop fréquents - prise en compte des caractéristiques des données de Sursaud - permettant la détection d évènements inhabituels 5 Journée Oscour 16 décembre 2008

6 Etape 1 : 10 méthodes statistiques retenues Méthode des moyennes historiques Régression de Poisson Méthode de Farrington Lissage exponentiel simple Lissage exponentiel triple (Holt Winters) Carte X / MR Carte C Carte EWMA Carte de contrôle Carte Cusum Temporal Scan (détection de clusters temporels) 6 Journée Oscour 16 décembre 2008

7 Etape 2 : Choix des séries temporelles 7 séries temporelles : Nombre de passages aux urgences : entre 180 et passages / jour Nombre d hospitalisations : entre 20 et 250 hospitalisations / jour Mortalité : entre 5 à 15 décès / jour - des séries présentant des caractéristiques différentes - présence ou non d une tendance, - présence ou non d une saisonnalité, - effet du jour de la semaine Nombre quotidien de passages dans 12 services d urgences franciliens Période historique Période d évaluation Journée Oscour 16 décembre /01/ /01/ /01/ /01/ /01/ /01/2006

8 Etape 2 : Evènements inhabituels à détecter 4 types d évènements simulés combinant durée et impact sanitaire : Hausse de +100% pendant 1 jour Hausse de + 50% pendant 3 jours consécutifs Hausse de + 20% pendant 6 jours consécutifs Hausse de + 10% pendant 9 jours consécutifs Nombre de passages aux urgences en Ile de France Simulation d une hausse de +20% pendant 6 jours Nb observé de passages aux urgences série modifiée Nb simulé de passages aux urgences Passages_Ile de France 1200 Prise en compte de la position dans l année de l événement simulé : Introduction successive sur chaque jour de l année 365 séries simulées /01/06 01/02/06 01/03/06 01/04/06 01/05/06 01/06/06 01/07/06 01/08/06 01/09/06 01/10/06 01/11/06 01/12/06 Au final : 7 séries temporelles x 4 évènements x 365 jours = séries à tester 8 Journée Oscour 16 décembre 2008

9 Etape 3 : Implémentation des méthodes - Estimation des paramètres de chaque méthode, sur la «période historique» - Détermination du «seuil d alarmes» : un événement est détecté si la valeur de la série pour le jour j dépasse le seuil d alarme - Evaluation des performances des méthodes statistiques à partir de 3 indicateurs : - Sensibilité : Nombre de jours de l évènement simulé qui ont été détecté par la méthode - Proportion de faux positifs : Nombre de jours (en dehors de l événement simulé) dont les valeurs dépassent le seuil d alarme - Délai de détection entre le 1 er jour de détection et le début de l évènement 9 Journée Oscour 16 décembre 2008

10 Etape 4 : Comparaison des performances - Illustration 35 Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet Nombre observé de décès Nombre simulé de décès /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/2006 Dc Observés Dc simulés 10 Journée Oscour 16 décembre 2008

11 Etape 4 : Comparaison des performances - Illustration 35 Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet 30 Seuils d alarme définis par la régression de Poisson Seuils d alarme définis par la méthode des moyennes historiques /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/2006 Dc Observés Dc simulés Moy histo Reg Poisson Les deux méthodes détectent l évènement simulé Détection dès le premier jour de l évènement 11 Journée Oscour 16 décembre 2008

12 Etape 4 : Comparaison des performances - Illustration Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet Seuils d alarme définis par Holt-Winters Seuils d alarme définis par la méthode du lissage exponentiel simple /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/2006 Dc Observés Dc simulés Moy histo LES Holt-Wint. Reg Poisson 12 Journée Oscour 16 décembre 2008

13 Etape 4 : Comparaison des performances - Illustration Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet Seuils d alarme définis par la carte de contrôle X/MR Seuils d alarme définis par la carte de contrôle C /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/ /07/2006 Dc Observés Dc simulés Moy histo LES Holt-Wint. Carte C Carte X Reg Poisson Toutes les méthodes ont détecté l évènement simulé, dès le premier jour Un Faux Positif pour une méthode (15/07, avec la carte X) 13 Journée Oscour 16 décembre 2008

14 Etape 4 : Comparaison des performances des méthodes Comparaison des performances des méthodes à partir d analyses factorielles (ACP) : séparément pour les 7 séries temporelles et les 4 types d évènements (28 ACP) Résultats préliminaires : - Sensibilités élevées (>95%) pour les évènements à forte magnitude (+100% ou +50%) quels que soient les méthodes choisies, - Sensibilités variables pour les évènements avec magnitudes plus faibles, selon les effectifs et fluctuations habituelles des séries. - Généralement, plusieurs méthodes avec des performances proches Pas UNE méthode qui se détache totalement des autres 14 Journée Oscour 16 décembre 2008

15 Discussion Littérature importante sur les performances d une méthode particulière pour la détection d évènements inhabituels, mais difficilement comparables Très peu d études comparatives des performances de plusieurs méthodes sur des données identiques Etude sur des données françaises, disponibles et utilisées à l InVS pour la surveillance syndromique Rédaction d un guide aidant au choix d une ou plusieurs méthodes statistiques pour la détection d évènements inhabituels dans les données de Sursaud Courant Journée Oscour 16 décembre 2008