Comparaison des performances de méthodes statistiques pour la détection d évènements inhabituels GT «Méthodes Statistiques» : A. Fouillet, F. Golliot, N. Caillère, I. Gaillard, C. Kamali, Y. Le Strat, A. Verrier, V. Wagner, C. Flamand, L. Léon, N. Mas, L. Mandereau-Bruno, E. Tenret, G. Manet, J. Pouey, O. Retel Journée Oscour - 16 décembre 2008
Contexte 2004 : Mise en place d une surveillance non spécifique à l InVS, à partir : - des Urgences : réseau «Oscour», - des urgences de ville : SOS Médecins (2006), - des décès : Insee SURSAUD SURveillance SAnitaire des Urgences et des Décès 2007 : Début d un travail sur les orientations stratégiques pour l analyse des données de Sursaud Incluant une réflexion sur le choix des méthodes statistiques Création du Groupe de Travail «Méthodes statistiques» 2 Journée Oscour 16 décembre 2008
Objectifs - Identifier les méthodes statistiques les plus performantes pour la détection d évènements inhabituels selon : - l indicateur étudié (morbidité / mortalité) - les caractéristiques des séries temporelles (effectifs / tendance / saisonnalité ) - les caractéristiques de l événement à détecter (durée / impact sanitaire / ) - Quantifier les performances et limites possibles des différentes méthodes 3 Journée Oscour 16 décembre 2008
Démarche générale Etape 1 : Sélection de méthodes statistiques A partir d une revue de la littérature et sur la base de différents critères Etape 2 : Choix de séries temporelles pour l étude Introduction par simulation d évènements inhabituels à détecter Etape 3 : Implémentation des méthodes sélectionnées à l étape 1 Calcul de leurs performances à détecter des évènements simulés Etape 4 : Comparaison et synthèse des performances des méthodes 4 Journée Oscour 16 décembre 2008
Etape 1 : Sélection des méthodes statistiques Revue de la littérature internationale (~ 80 articles) sur les méthodes statistiques utilisées pour la détection d évènements sanitaires (épidémies, bioterrorisme, ) Classement et sélection des méthodes sur trois critères : - automatisation facile des méthodes sur un grand nombre de séries analyse en routine, pas de paramétrages trop fréquents - prise en compte des caractéristiques des données de Sursaud - permettant la détection d évènements inhabituels 5 Journée Oscour 16 décembre 2008
Etape 1 : 10 méthodes statistiques retenues Méthode des moyennes historiques Régression de Poisson Méthode de Farrington Lissage exponentiel simple Lissage exponentiel triple (Holt Winters) Carte X / MR Carte C Carte EWMA Carte de contrôle Carte Cusum Temporal Scan (détection de clusters temporels) 6 Journée Oscour 16 décembre 2008
Etape 2 : Choix des séries temporelles 7 séries temporelles : Nombre de passages aux urgences : entre 180 et 1 280 passages / jour Nombre d hospitalisations : entre 20 et 250 hospitalisations / jour Mortalité : entre 5 à 15 décès / jour - des séries présentant des caractéristiques différentes - présence ou non d une tendance, - présence ou non d une saisonnalité, - effet du jour de la semaine. 1800 1600 1400 Nombre quotidien de passages dans 12 services d urgences franciliens 1200 1000 800 600 400 Période historique Période d évaluation 200 7 Journée Oscour 16 décembre 2008 0 01/01/2001 01/01/2002 01/01/2003 01/01/2004 01/01/2005 01/01/2006
Etape 2 : Evènements inhabituels à détecter 4 types d évènements simulés combinant durée et impact sanitaire : Hausse de +100% pendant 1 jour Hausse de + 50% pendant 3 jours consécutifs Hausse de + 20% pendant 6 jours consécutifs Hausse de + 10% pendant 9 jours consécutifs 2800 2400 2000 1600 Nombre de passages aux urgences en Ile de France Simulation d une hausse de +20% pendant 6 jours Nb observé de passages aux urgences série modifiée Nb simulé de passages aux urgences Passages_Ile de France 1200 Prise en compte de la position dans l année de l événement simulé : Introduction successive sur chaque jour de l année 365 séries simulées 800 400 0 01/01/06 01/02/06 01/03/06 01/04/06 01/05/06 01/06/06 01/07/06 01/08/06 01/09/06 01/10/06 01/11/06 01/12/06 Au final : 7 séries temporelles x 4 évènements x 365 jours = 10 220 séries à tester 8 Journée Oscour 16 décembre 2008
Etape 3 : Implémentation des méthodes - Estimation des paramètres de chaque méthode, sur la «période historique» - Détermination du «seuil d alarmes» : un événement est détecté si la valeur de la série pour le jour j dépasse le seuil d alarme - Evaluation des performances des méthodes statistiques à partir de 3 indicateurs : - Sensibilité : Nombre de jours de l évènement simulé qui ont été détecté par la méthode - Proportion de faux positifs : Nombre de jours (en dehors de l événement simulé) dont les valeurs dépassent le seuil d alarme - Délai de détection entre le 1 er jour de détection et le début de l évènement 9 Journée Oscour 16 décembre 2008
Etape 4 : Comparaison des performances - Illustration 35 Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet 30 25 Nombre observé de décès Nombre simulé de décès 20 15 10 15/07/2006 16/07/2006 17/07/2006 18/07/2006 19/07/2006 20/07/2006 21/07/2006 22/07/2006 23/07/2006 24/07/2006 Dc Observés Dc simulés 10 Journée Oscour 16 décembre 2008
Etape 4 : Comparaison des performances - Illustration 35 Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet 30 Seuils d alarme définis par la régression de Poisson Seuils d alarme définis par la méthode des moyennes historiques 25 20 15 10 15/07/2006 16/07/2006 17/07/2006 18/07/2006 19/07/2006 20/07/2006 21/07/2006 22/07/2006 23/07/2006 24/07/2006 Dc Observés Dc simulés Moy histo Reg Poisson Les deux méthodes détectent l évènement simulé Détection dès le premier jour de l évènement 11 Journée Oscour 16 décembre 2008
Etape 4 : Comparaison des performances - Illustration Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet 35 30 Seuils d alarme définis par Holt-Winters Seuils d alarme définis par la méthode du lissage exponentiel simple 25 20 15 10 15/07/2006 16/07/2006 17/07/2006 18/07/2006 19/07/2006 20/07/2006 21/07/2006 22/07/2006 23/07/2006 24/07/2006 Dc Observés Dc simulés Moy histo LES Holt-Wint. Reg Poisson 12 Journée Oscour 16 décembre 2008
Etape 4 : Comparaison des performances - Illustration Nombre quotidien de décès en Ile et Vilaine - Simulation d une hausse de +50% du 19 au 21 juillet 35 30 Seuils d alarme définis par la carte de contrôle X/MR Seuils d alarme définis par la carte de contrôle C 25 20 15 10 15/07/2006 16/07/2006 17/07/2006 18/07/2006 19/07/2006 20/07/2006 21/07/2006 22/07/2006 23/07/2006 24/07/2006 Dc Observés Dc simulés Moy histo LES Holt-Wint. Carte C Carte X Reg Poisson Toutes les méthodes ont détecté l évènement simulé, dès le premier jour Un Faux Positif pour une méthode (15/07, avec la carte X) 13 Journée Oscour 16 décembre 2008
Etape 4 : Comparaison des performances des méthodes Comparaison des performances des méthodes à partir d analyses factorielles (ACP) : séparément pour les 7 séries temporelles et les 4 types d évènements (28 ACP) Résultats préliminaires : - Sensibilités élevées (>95%) pour les évènements à forte magnitude (+100% ou +50%) quels que soient les méthodes choisies, - Sensibilités variables pour les évènements avec magnitudes plus faibles, selon les effectifs et fluctuations habituelles des séries. - Généralement, plusieurs méthodes avec des performances proches Pas UNE méthode qui se détache totalement des autres 14 Journée Oscour 16 décembre 2008
Discussion Littérature importante sur les performances d une méthode particulière pour la détection d évènements inhabituels, mais difficilement comparables Très peu d études comparatives des performances de plusieurs méthodes sur des données identiques Etude sur des données françaises, disponibles et utilisées à l InVS pour la surveillance syndromique Rédaction d un guide aidant au choix d une ou plusieurs méthodes statistiques pour la détection d évènements inhabituels dans les données de Sursaud Courant 2009 15 Journée Oscour 16 décembre 2008