Qualité des données de du Système d information ontarien sur la santé mentale

Transcription

1 Qualité des données de du Système d information ontarien sur la santé mentale Preliminary Provincial and Territorial Government Novembre 2009 Health Expenditure Estimates to

2 Le contenu de cette publication peut être reproduit en totalité ou en partie pourvu que ce ne soit pas à des fins commerciales et que l Institut canadien d information sur la santé soit identifié. Institut canadien d information sur la santé 495, chemin Richmond, bureau 600 Ottawa (Ontario) K2A 4H6 Téléphone : Télécopieur : ISBN (PDF) L instrument RAI-MH, qui inclut le fichier minimal sur la santé mentale (MDS-MH) et les protocoles d évaluation de la santé mentale (PESM), est protégé par le droit d auteur du gouvernement de l Ontario, de l Association des hôpitaux de l Ontario et de interrai. Gouvernement de l Ontario, Association des hôpitaux de l Ontario, interrai 2009 Institut canadien d information sur la santé Comment citer ce document : Institut canadien d information sur la santé, Qualité des données de du Système d'information ontarien sur la santé mentale, novembre 2009, Ottawa (Ont.), ICIS, This publication is also available in English under the title Ontario Mental Health Reporting System, Data Quality Documentation , November ISBN (PDF)

3 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Table des matières 1 Introduction Aperçu du Système d information ontarien sur la santé mentale Étendue Population de référence Intégralité des données Collecte et traitement des données Instrument d évaluation des résidents santé mentale, version Collecte et soumission des données Contrôle de la qualité des données Qualité des données lors de leur collecte Vérifications de la validité et de l uniformité Mise à jour du cadre de l établissement Calendrier de soumission Calendrier de soumission des données Limites des données Exactitude Portée du cadre des établissements Non-réponse à un élément Cas de non-réponse (unité) Erreur de mesure Imputation Autres remarques Comparabilité Recoupement Comparabilité rétrospective Actualité Personnes-ressources... 16

4

5 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale 1 Introduction Le présent document fournit un aperçu du Système d information ontarien sur la santé mentale (SIOSM) ainsi qu un sommaire de la qualité des données soumises au système. Il a pour but de permettre aux utilisateurs des données et des rapports du SIOSM de déterminer les limites possibles des données et leur présenter plus d information sur le contexte d utilisation des renseignements du SIOSM. Le document est divisé en sections qui présentent diverses facettes de la qualité des données et est axé principalement sur l exactitude, soit le degré de correspondance des données du SIOSM avec la réalité qu elles sont censées mesurer. 1.1 Aperçu du Système d information ontarien sur la santé mentale Le SIOSM a été mis en œuvre en 2005 par l Institut canadien d information sur la santé (ICIS) pour le compte du ministère de la Santé et des Soins de longue durée de l Ontario (MSSLD). Le SIOSM facilite la collecte, l analyse et la communication de l information soumise à l ICIS ayant trait aux personnes admises aux lits réservés aux soins psychiatriques pour adultes des établissements généraux et spécialisés de la province de l Ontario. Le fichier de données du SIOSM est principalement fondé sur l instrument d évaluation des résidents santé mentale (RAI-MH ) et comprend des renseignements détaillés sur la santé mentale et physique, le soutien social et l utilisation des services. Il s agit d une base de données longitudinales, car les hôpitaux recueillent l information et la transmettent à l ICIS lorsqu une personne est admise, obtient son congé ou qu il se produit un important changement dans son état de santé, de même que tous les trois mois pour ce qui est des personnes dont le séjour dure plus de trois mois. Le SIOSM a été conçu afin de devenir une ressource de données cliniques et administratives normalisées sur les soins aux adultes hospitalisés en santé mentale en Ontario. Sur le plan clinique, les données du SIOSM orientent la planification des soins et l amélioration de leur qualité, tout en étayant l analyse à long terme des risques et des résultats liés aux clients. Quant à la gestion et à l élaboration de politiques, les données servent à soutenir les mécanismes de planification, de financement et de responsabilisation. L ICIS publie des rapports comparatifs des établissements ainsi que d autres analyses s appuyant sur le SIOSM. Ces documents contiennent des données sur les mesures des résultats, les indicateurs de qualité et les protocoles d évaluation de la santé mentale (PESM). L ICIS publie également des rapports sur la qualité des données soumises par les établissements participants au SIOSM afin de les aider à cerner les problèmes en matière d exactitude et de comparabilité de leurs données. Les données du SIOSM sont également accessibles sur demande aux utilisateurs externes (par exemple, le MSSLD, les chercheurs et les médias), à condition que la politique de l ICIS en matière de confidentialité et de respect de la vie privée, ainsi que d autres exigences, soient respectées. L information contenue dans le présent document sur la qualité des données est fondée sur le SIOSM au 1 er septembre 2009, à savoir le jour auquel un instantané de la base de données a été effectué à des fins d analyse de production de rapports. À ce moment, le plus récent exercice financier disponible était celui de ICIS

6 Qualité des données de du Système d information ontarien sur la santé mentale Novembre Étendue 2.1 Population de référence La population de référence du SIOSM est composée de personnes qui reçoivent des services dans les lits réservés aux soins psychiatriques pour adultes des établissements généraux et spécialisés de la province de l Ontario. En date de septembre 2009, 72 établissements avaient transmis à l ICIS des données destinées à ce système. Le SIOSM a reçu l autorisation du MSSLD de recueillir les données des nouveaux patients admis à partir du 1 er octobre Selon certains, le SIOSM pourrait être considéré comme une source de données de recensement pour tous les clients qui occupent un lit en santé mentale pour adultes de la province de l Ontario. 2.2 Intégralité des données Selon le mandat du MSSLD, il est attendu que les données reçues des établissements ontariens comprennent tous les épisodes de maladie mentale des patients hospitalisés qui se sont déroulés dans des lits réservés au sein de ces établissements. Cependant, pour le moment, il n existe aucun mécanisme absolu en place pour vérifier cette hypothèse. L ICIS et le MSSLD offrent la possibilité de comparer le nombre d épisodes de patients hospitalisés, par exemple, comme il est indiqué dans le SIOSM et d autres sources, telles les données statistiques et financières du SIG transmises au MSSLD. Ainsi, il peut être difficile de déterminer si un établissement a soumis ses données chaque trimestre et si celles-ci comportent tous les clients qui ont occupé un lit d hospitalisation pour adultes. Le SIOSM contient des données sur le nombre de lits en santé mentale dans chaque établissement, mais la base de données ne comporte pas de renseignements sur le taux d occupation dans chaque établissement. Puisque les taux d occupation risquent de changer fréquemment, il pourrait être difficile de tenir une liste à jour des taux d occupation des établissements de façon trimestrielle. Donc, cet aspect d intégralité ne sera pas traité dans le présent rapport. Il est possible de déterminer les épisodes de maladie mentale, indiqués au moyen d une évaluation d admission dans le SIOSM, dont les évaluations futures et attendues ne figurent pas parmi les données. On a examiné l étendue de ces évaluations manquantes afin de déterminer l intégralité des données; les résultats sont présentés à la section «Limites des données» du présent rapport. 2 ICIS 2009

7 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale 3 Collecte et traitement des données 3.1 Instrument d évaluation des résidents santé mentale, version 2.0 Le SIOSM comprend la version 2.0 du RAI-MH ainsi que des éléments de données de suivi sur les admissions et les sorties. Le RAI-MH est un système normalisé et intégré de collecte de données sur la santé mentale qui réunit des applications de planification des soins, de mesure des résultats, d amélioration de la qualité ainsi que des applications liées aux groupes clients. Le RAI-MH est une série de produits qui comprend : le fichier minimal sur la santé mentale (MDS-MH), qui contient environ 300 éléments de données; les PESM aux fins de planification des soins; des indicateurs de qualité et des mesures de résultats fondés sur des échelles cliniques; le Système de classification des patients hospitalisés en psychiatrie (SCIPP), à savoir la méthodologie de groupes clients conçue pour être utilisée avec les données du MDS-MH. Les exigences relatives à la soumission de données au SIOSM comprennent cinq types d évaluation différents. Veuillez consulter la figure 1 pour voir un modèle de calendrier des évaluations. On procède à une évaluation d admission complète de chaque client au cours des 72 heures (trois jours) suivant l admission à un lit en santé mentale. Cette évaluation comprend les éléments cliniques et administratifs du MDS-MH ainsi que les données démographiques, qui sont obtenues à l admission seulement. Une fiche de séjour de courte durée doit être remplie lorsque la durée totale du séjour dans le lit en santé mentale est de 72 heures (trois jours) ou moins. Elle comprend surtout des éléments de nature administrative et démographique, ainsi que des renseignements sur la sortie. Les éléments cliniques supplémentaires du MDS-MH ne sont pas obligatoires, mais peuvent être soumis si l information est disponible. Une évaluation consécutive à un changement d état doit avoir lieu si le client a vécu un changement majeur dans son état mental ou physique ou au niveau social et qui rendrait non valides les données d évaluation antérieures et le plan de soins en vigueur. Une évaluation consécutive à un changement dans l état comprend des éléments cliniques et administratifs. Une évaluation trimestrielle est requise si la plus récente évaluation a eu lieu il y a 92 jours et si le client est encore hospitalisé dans un lit en santé mentale. Cette évaluation comprend des éléments de données cliniques et administratives. Une évaluation de sortie doit avoir lieu dans les 72 heures (trois jours) précédant le départ du client de son lit en santé mentale. Pour les sorties prévues après un séjour de plus de six jours, une évaluation complète est nécessaire, comprenant les éléments de données cliniques et les renseignements sur la sortie. ICIS

8 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Figure 1 Modèle de calendrier des évaluations du SIOSM Évaluation d admission Évaluation trimestrielle Temps Admission Évaluation consécutive à un changement (s il y a lieu) Sortie Évaluation de sortie 3 jours 92 jours 3 jours 3.2 Collecte et soumission des données Les données du SIOSM sont recueillies par le personnel clinique d un établissement dans le cadre de ses processus d évaluation de routine et sont ensuite entrées dans une application du logiciel du fournisseur. Les fournisseurs de logiciels de collecte des données du SIOSM dans les établissements participants doivent détenir une licence de l ICIS et procéder à une mise à l essai annuelle des fournisseurs et des établissements afin que le système corresponde bien aux exigences du SIOSM. Les données sont soumises à l ICIS dans un format chiffré et sécuritaire au moyen de l application Web appelée Service de soumission électronique des données (edss). Les établissements reçoivent, par le SIOSM en ligne sur le site de l ICIS, des rapports de soumission indiquant l état des fichiers envoyés, y compris les fichiers rejetés. Les établissements doivent rapidement corriger les évaluations rejetées et les soumettre à nouveau. 3.3 Contrôle de la qualité des données Qualité des données lors de leur collecte La saisie des données constitue un élément essentiel de la qualité des données. L ICIS offre divers modes de soutien aux établissements participants dans le but de promouvoir la qualité des données : de la documentation sur les directives de codification dans le Manuel de ressources du Système d information ontarien sur la santé mentale; une série de séances de formation sur le Web et en personne portant sur les évaluations et la codification, la collecte de données et la soumission, ainsi que des produits sur le SIOSM; des bulletins d information portant sur différents sujets particuliers que l on diffuse aux clients du SIOSM pour leur donner des précisions sur les directives de codification et les informer de tout changement ou de toute mise à jour du système; des rapports de soumission détaillés qui donnent un compte rendu des erreurs dans les évaluations rejetées et signalent les données pouvant être erronées dans les évaluations acceptées; 4 ICIS 2009

9 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale des rapports trimestriels sur la qualité des données des établissements participants pour les aider à détecter les problèmes; un rapport annuel d évaluation de la qualité des données (au moyen du cadre de la qualité des données de l ICIS); des analyses de la qualité des données spéciales effectuées par l ICIS ou les intervenants; une mise à l essai annuelle des fournisseurs et des établissements afin que le logiciel de collecte de données soit conforme aux exigences de soumission des données du SIOSM; une révision annuelle et une amélioration des spécifications de soumission de données; un outil d interrogation en ligne pour consulter la foire aux questions; des services de soutien à la clientèle par courriel, téléphone ou téléconférence sur la codification, la collecte de données, la soumission et l interprétation des rapports Vérifications de la validité et de l uniformité Après la réception de tout type de données, le processus de traitement standard de l ICIS prévoit des vérifications et des contrôles aux fins d évaluation de la qualité des données : Les vérifications entraînent le rejet de tout fichier qui n est pas conforme à une spécification en particulier. Par exemple, une évaluation de sortie est rejetée si la date de sortie est codifiée avant la date d admission d un même client. On s attend à ce que les établissements corrigent leurs évaluations rejetées et les soumettent à nouveau à l ICIS. Les vérifications signalent les évaluations contenant des données qui pourraient être erronées. Par exemple, un dossier sera accepté, mais signalé, si l élément de données relatif au poids a été codifié à moins de 23 kilogrammes ou à plus de 200 kilogrammes Mise à jour du cadre de l établissement Le cadre de l établissement se servant du SIOSM est mis à jour après que l ICIS ait été avisé de l ajout de nouveaux établissements, de la fermeture d établissements actuels et de sections d hôpitaux, ou de fusions. Au cours des derniers exercices financiers, ces changements n ont pas été très importants, mais ils peuvent avoir une incidence sur la comparabilité des données au fil du temps. 3.4 Calendrier de soumission Calendrier de soumission des données L ICIS publie des rapports comparatifs entre les établissements ainsi que des rapports sur la qualité des données établis chaque trimestre en fonction d un instantané de la base de données effectué deux mois après la fin du trimestre. Les soumissions de données de ce trimestre, y compris la correction de toute erreur, doivent être terminées avant que l instantané soit pris pour que les données soient incluses dans les rapports trimestriels. ICIS

10 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Tableau 1 Calendrier des soumissions trimestrielles au SIOSM Trimestre de l ICIS Période de déclaration (collecte des données) Première date limite pour la soumission des données (délai de deux semaines pour la correction des erreurs) Date limite finale pour la correction des erreurs et la soumission des données Un mois et demi après la fin du trimestre Deux mois après la fin du trimestre 1 1 er avril au 30 juin 14 août 31 août 2 1 er juill. au 30 sept. 14 novembre 30 novembre 3 1 er oct. au 31 déc. 14 février 28 février 4 1 er janv. au 31 mars 14 mai 31 mai Actuellement, le SIOSM n effectue pas de clôture des données pour un exercice financier en particulier. Les données seront donc acceptées après les dates limites indiquées, mais ne figureront pas au bon trimestre sur les rapports comparatifs de l établissement. 4 Limites des données Les limites des données sont relevées et examinées au moment du traitement et des activités de qualité des données dans le cadre de la section du SIOSM de l ICIS. Le cadre de la qualité des données de l ICIS, instauré en , constitue une stratégie d évaluation de la qualité des données utilisée dans toutes les bases de données et tous les registres de l ICIS. Ce cadre s appuie sur cinq critères de qualité : exactitude, comparabilité, actualité, utilisabilité et pertinence. Le présent rapport traite de l exactitude (portée, non-réponse et erreur de mesure), de la comparabilité (recoupement et comparabilité rétrospective) et de l actualité des données. 4.1 Exactitude On parle d exactitude pour déterminer dans quelle mesure le contenu de la base de données rend compte de la réalité. C est le degré avec lequel la valeur mesurée représente la valeur réelle de la variable. Autrement dit, l exactitude des données du SIOSM fait référence à la mesure dans laquelle l information recueillie dans les différents éléments de données représente les caractéristiques réelles du patient au moment de l évaluation Portée du cadre des établissements Tous les établissements généraux et spécialisés de l Ontario qui disposent de lits en santé mentale pour adultes doivent envoyer trimestriellement les données correspondant à chaque patient qui occupe un de ces lits. Le cadre des établissements du SIOSM comprend tous les établissements participants qui ont soumis des données à la base de données du système au moins une fois depuis son lancement en octobre À la fin de l exercice , le cadre du SIOSM comptait 72 établissements. 6 ICIS 2009

11 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale Les détails concernant l envoi sont regroupés dans un document sur le cadre des établissements. Chaque fois qu un établissement ouvre des lits en santé mentale, on ajoute cet établissement au cadre en indiquant une date d entrée en vigueur. Lorsqu un établissement ferme ses lits en santé mentale, il demeure inscrit dans le cadre, mais on y entre une date de fermeture. La liste contient également des renseignements sur les fusions et les divisions, ainsi que les changements apportés au nom de l établissement ou au numéro maître relatif à la santé mentale du MSSLD. L objectif est de pouvoir faire le suivi, en tout temps, des établissements qui doivent soumettre tous les trois mois des données au SIOSM. Vous trouverez dans le tableau 2 le nombre d établissements qui ont soumis des données entre le 3 e trimestre de et le 4 e trimestre de En , étant donné l inachèvement de la mise à l essai ou du transfert et de la clôture de programmes et de services en santé mentale, le nombre d établissements soumettant des données était inférieur au nombre d établissements que compte le cadre. Tableau 2 Exercice Nombre d établissements ayant soumis des données (par exercice et trimestre) Trimestre d exercice T1 T2 T3 T s.o. s.o Remarque s.o. = sans objet. Source Système d information ontarien sur la santé mentale, octobre 2005 à mars 2009, Institut canadien d information sur la santé Non-réponse à un élément La non-réponse à un élément fait référence à un enregistrement soumis qui ne contient pas toute l information requise. Dans le cadre du présent document, il est plus approprié de parler des réponses à des éléments de données obligatoires que des réponses à des éléments de données facultatifs. Dans le SIOSM, les vérifications effectuées par les logiciels et les bases de données servent à ne pas accepter les éléments de données obligatoires laissés vides. Les établissements devraient donc remplir tous les éléments de données obligatoires. Cependant, ils peuvent utiliser des options comme inconnu, sans objet ou autre s ils ne peuvent pas donner d information, soit parce qu ils ne connaissent pas la réponse ou qu ils n ont pas accès à l information. ICIS

12 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Le tableau 3 indique le pourcentage d évaluations complètes à l admission qui contenaient le code inconnu dans certains éléments de données en Tableau 3 Valeurs inconnues dans le SIOSM, Élément de données Nombre d évaluations complètes à l admission avec valeurs inconnues Pourcentage du total des évaluations complètes à l admission Date de naissance estimée 160 0,42 Province ou territoire émetteur du NAM 234 0,62 Responsabilité du paiement 567 1,49 Numéro d assurance-maladie 576 1,51 Statut d emploi 768 2,02 Code postal de la résidence du patient 838 2,20 Pays de résidence 852 2,24 Conditions de logement ,19 Observance de la médication ,02 Éducation ,89 Remarques Numérateur : nombre total d évaluations complètes à l admission avec valeurs inconnues en Dénominateur : , soit le nombre total d évaluations complètes à l admission en Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé Cas de non-réponse (unité) La non-réponse d unité fait référence à l absence d enregistrements complets de la base de données. En raison de changements dans les activités d envoi et les taux d occupation, le volume d enregistrements correspondant à des évaluations complètes d admission, de séjour de courte durée et de sortie envoyés au SIOSM ne sera pas nécessairement le même chaque trimestre. On s attend à de légers écarts d un trimestre à l autre. Par contre, des écarts importants pourraient dénoter des problèmes de qualité des données. Une analyse du nombre d enregistrements d évaluations complètes d admission, de séjour de courte durée, consécutives à un changement dans l état et de sortie envoyés au SIOSM de l ICIS pour chaque trimestre des exercices et indique que les volumes d envoi ont été plutôt constants et qu il ne semble pas y avoir de réel problème de qualité des données. La figure 2 résume les résultats de l analyse du dénombrement des évaluations. 8 ICIS 2009

13 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale Figure 2 Dénombrement des évaluations par trimestre d exercice dans le SIOSM, exercices et Dénombrement des évaluations T T T T T T T T Trimestre d'exercice Changement dans l état Séjour de courte durée Évaluations complètes d admission Évaluations trimestrielles Évaluations de sortie Source Système d information ontarien sur la santé mentale, avril 2007 à mars 2009, Institut canadien d information sur la santé. Dans le SIOSM, deux indicateurs de la qualité des données peuvent aussi aider à estimer le nombre de données manquantes : Évaluations rejetées et non renvoyées Cet indicateur dénombre les évaluations rejetées lors du traitement en raison d erreurs et qui n ont pas été resoumises à l ICIS et acceptées. Le tableau 4 indique que le pourcentage d évaluations rejetées et non resoumises par trimestre d exercice est demeuré relativement stable en Tableau 4 Évaluations rejetées et non resoumises au SIOSM, T T T T Pourcentage 2,44 3,11 2,12 1,81 Numérateur Dénominateur Remarques Numérateur : nombre d évaluations rejetées et non resoumises pour le trimestre de déclaration. Dénominateur : nombre total d évaluations soumises pour le trimestre de déclaration, y compris les évaluations rejetées et celles acceptées. Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé. ICIS

14 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Épisodes dont une évaluation attendue ne figure pas dans la base de données Dans le SIOSM, des évaluations sont requises au moins tous les 92 jours pour des clients hospitalisés dans une unité de santé mentale pendant plus d un trimestre d exercice. De ce fait, pour chaque client ayant fait l objet d une évaluation complète d admission, d une évaluation trimestrielle ou d une évaluation consécutive à un changement dans l état lors d un trimestre précédent, une évaluation trimestrielle consécutive à un changement dans l état ou de sortie doit être envoyée lors du trimestre de déclaration en cours. Cet indicateur s applique aux épisodes dont une évaluation trimestrielle, une évaluation consécutive à un changement dans l état ou une évaluation de sortie devait être envoyée pour le trimestre d exercice en cours, mais n a pas été reçue et acceptée par la base de données du SIOSM de l ICIS. Le tableau 5 indique que le pourcentage d épisodes dont une évaluation attendue ne figurait pas dans la base de données à la fin du trimestre de déclaration était en baisse tout au long de l exercice Tableau 5 Épisodes dont une évaluation attendue ne figurait pas dans le SIOSM, T T T T Pourcentage 0,81 0,68 0,69 0,61 Numérateur Dénominateur Remarques Numérateur : nombre total d épisodes dont une évaluation attendue ne figurait pas dans la base de données à la fin du trimestre de déclaration. Dénominateur : nombre total d épisodes acceptés avant la fin du trimestre de déclaration. Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé Erreur de mesure L erreur de mesure évalue dans quelle mesure les valeurs transmises par les données correspondent aux valeurs qui auraient dû être déclarées. Corrections dans le SIOSM Les établissements doivent corriger les enregistrements d évaluation s ils se rendent compte qu une évaluation soumise précédemment contenait des données inexactes. La correction peut être apportée en tout temps après l envoi et l acceptation de l évaluation originale par la base de données du SIOSM dans laquelle figuraient les erreurs. Le tableau 6 montre qu en , le pourcentage d enregistrements corrigés variait selon le type d évaluation, ce qui dénote l existence d occasions de sensibilisation ciblée ou d amélioration des vérifications des soumissions. 10 ICIS 2009

15 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale Tableau 6 Évaluations corrigées dans le SIOSM, Type d évaluation Pourcentage Numérateur Dénominateur Évaluation trimestrielle 0, Séjour de courte durée 0, Évaluation de sortie 0, Évaluation complète d admission 1, Changement dans l état 1, Total 0, Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé. Certaines évaluations ont fait l objet de corrections multiples. Le cas échéant, seule la correction la plus récente a été conservée dans la base de données du SIOSM. Si, dans un enregistrement déjà envoyé et accepté, une correction est apportée à un élément de données utilisé dans l algorithme du SCIPP comme déclencheur des PESM ou encore dans le calcul d un indicateur de résultat ou de qualité, certaines données de sortie en particulier pourraient s en trouver modifiées. Dans la base de données du SIOSM, l enregistrement original de l évaluation est écrasé par la correction. Puisque la base de données ne contient pas de copie de l original, il est difficile d évaluer rétrospectivement les conséquences, le cas échéant, de telles corrections sur le SCIPP, les PESM, les mesures des résultats ou les calculs d indicateurs de qualité. Incohérence logique transversale des codes On parle d incohérence logique transversale dans la codification des éléments de données lorsqu il y a des combinaisons d éléments improbables ou impossibles. Le présent rapport ne procède pas à un examen exhaustif de toutes les incohérences logiques transversales des codes qui pourraient exister. Il traite seulement d un exemple d incohérence logique, mais d autres examens seront vraisemblablement effectués au cours des prochains exercices. Les éléments de données relatifs à des antécédents judiciaires ont été examinés aux fins de vérification de leur cohérence avec les autres éléments de données pertinents, par exemple, le code «médecine légale» comme raison d admission. Le taux d incohérence de ces éléments de données était inférieur à 1,5 % en Valeurs marquées comme erreurs de codification potentielles Les valeurs marquées de taille, de poids et d âge ont été examinées dans le cadre du présent rapport. Quelques problèmes de codification potentiels ont été reliés à ces éléments de données (par exemple, un âge inférieur à 14 ans ou supérieur à 115 ans, un poids inférieur à 23 kilogrammes ou supérieur à 200 kilogrammes, une taille inférieure à 91 centimètres ou supérieure à 213 centimètres). Les évaluations contenant des valeurs potentiellement improbables sont acceptées dans la base de données, mais marquées comme contenant possiblement des erreurs dans les rapports de soumission, ce qui aide les établissements à repérer les problèmes éventuels de qualité des données. ICIS

16 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Le tableau 7 indique le nombre d évaluations complètes d admission dans lesquelles des valeurs d âge, de taille et de poids ont été marquées en Tableau 7 Évaluations complètes d admission avec valeurs marquées dans le SIOSM, Valeur marquée Pourcentage Numérateur Âge < 14 ans ou > 115 ans 0,06 24 Poids < 23 kg ou > 200 kg 0,13 51 Taille < 91 cm ou > 213 cm 0,14 56 Remarques Numérateur : nombre d évaluations complètes d admission contenant des valeurs hors norme pour Dénominateur : , soit le nombre total d évaluations complètes d admission en Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé Imputation L imputation est un processus qui consiste à définir et à désigner des valeurs de rechange pour les données obligatoires inexactes ou manquantes qui ont été marquées au moment de la vérification. Les changements apportés aux données soumises par les fournisseurs sont des imputations. Aucune imputation n est effectuée dans un cas de non-réponse ou d erreur de mesure dans le SIOSM parce que l ensemble de données ne met pas clairement en évidence les cas réels de non-réponse ou d erreur de mesure Autres remarques Les hôpitaux disposant de lits en santé mentale pour adultes qui, dans le cadre du mandat, déclaraient leurs données à la Base de données sur les congés des patients (BDCP) ont dû déclarer à la fois à la BDCP et au SIOSM pendant la période de déclaration conjointe du 1 er octobre 2005 au 31 mars 2006, puis uniquement au SIOSM à partir du 1 er avril Le MSSLD a élaboré un certain nombre de directives à l intention des établissements participants pour les cas de périodes de soins prolongées ayant chevauché la période de transition de la BDCP au SIOSM et s étant prolongées au-delà du 1 er avril Les patients nécessitant un séjour prolongé admis avant le 1 er octobre 2005 et qui étaient toujours hospitalisés dans un lit en santé mentale du même établissement le 31 mars 2006 se sont vu attribuer une date de sortie fictive (le 31 mars 2006) dans la BDCP et une date d admission fictive (le 1 er avril 2006) dans le SIOSM. Il est à noter que les analyses qui tiennent compte de la date d admission fictive de ces clients (le calcul de la durée de leur séjour par exemple) seront potentiellement erronées. Les analyses continues de l ICIS sur les effets de cette transition seront présentées dans les rapports ultérieurs sur la qualité des données. 12 ICIS 2009

17 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale 4.2 Comparabilité La comparabilité représente le niveau d uniformité des ensembles de données dans le temps et leur utilisation des conventions normalisées (comme les éléments de données ou les périodes de déclaration), caractéristiques qui déterminent leur similitude avec les autres ensembles de données Recoupement Le recoupement est un processus qui consiste à combiner les enregistrements d au moins deux bases de données en utilisant un ou plusieurs éléments de données de recoupement communs, ou encore à combiner des enregistrements d une même base de données ou d un même registre à partir d un élément de données commun. Certains problèmes de qualité des données peuvent compromettre le recoupement des enregistrements. Géographie Le code postal de la résidence du client est entré dans le SIOSM lors des évaluations complètes d admission et pour un séjour de courte durée. Pour divers motifs analytiques, l ICIS met en correspondance le code postal du client avec le Fichier de conversion des codes postaux (FCCP) produit par Statistique Canada. Des indicateurs de qualité des données s affichent lorsqu il y a un problème à l étape de la mise en correspondance. Environ 2,5 % des épisodes contiennent un code postal inconnu; de plus, 3,8 % comportent un code postal qui ne correspond pas au FCCP. L information géographique des épisodes contenant un code postal inconnu ou erroné ne peut pas être utilisée lors des analyses géographiques effectuées en fonction du code postal du client. Numéro d assurance-maladie Le numéro d assurance-maladie (NAM) est l élément de données le plus fréquemment utilisé pour déterminer les clients uniques dans le SIOSM. On l utilise en conjonction avec l élément de données «province ou territoire émetteur du numéro d assurance-maladie». Plusieurs problèmes concernant la qualité des données doivent être pris en considération lors de l utilisation du NAM, car ils pourraient avoir une incidence sur les analyses des clients : NAM inconnu ou sans objet Il est possible d indiquer un NAM inconnu ou qui ne s applique pas (sans objet) en utilisant les codes «-70» ou «-90», respectivement. Si ces codes sont utilisés dans le champ NAM, cet élément de données ne peut servir à identifier de façon unique un client dans le cadre d un recoupement d enregistrements dans le SIOSM ou d un recoupement approuvé avec d autres banques de données. Environ 1,7 % des épisodes comprenaient un NAM inconnu, et 0,5 %, le code sans objet dans le SIOSM en Incohérence de sexe et de date de naissance Chaque NAM doit correspondre à un seul sexe et à une seule date de naissance dans tous les enregistrements de chacun des épisodes de la base de données du SIOSM. Le tableau 8 indique le nombre d épisodes qui comprenaient une incohérence de sexe ou de date de naissance pour un même NAM dans le SIOSM en ICIS

18 Qualité des données de du Système d information ontarien sur la santé mentale Novembre 2009 Tableau 8 Épisodes avec incohérence de sexe et de date de naissance dans le SIOSM, Incohérence Pourcentage Numérateur Incohérence de sexe 0,09 50 Incohérence de date de naissance 0, Remarques Numérateur : nombre d épisodes de soins avec incohérence de sexe et de date de naissance pour un NAM en Dénominateur : , soit le nombre total d épisodes de soins en Source Système d information ontarien sur la santé mentale, avril 2008 à mars 2009, Institut canadien d information sur la santé Comparabilité rétrospective La comparabilité rétrospective se rapporte à l uniformité au fil du temps des méthodes et des concepts relatifs aux données. Elle permet de comparer adéquatement différentes estimations à divers moments. Le tableau 9 résume les principaux changements apportés lors des exercices , et aux fins d amélioration de la qualité des données au moment de la soumission. 14 ICIS 2009

19 Novembre 2009 Qualité des données de du Système d information ontarien sur la santé mentale Tableau 9 Exercice Historique des principaux changements aux éléments de données et aux vérifications Changements aux éléments de données et aux vérifications Vérifications modifiées afin que les évaluations complètes d admission et pour un séjour de courte durée qui ne respectent pas la séquence habituelle mais qui sont valides ne soient pas rejetées lors du traitement. Ajout de nouvelles vérifications pour éviter l acceptation dans un même épisode de plusieurs évaluations de sortie Ajout de nouvelles vérifications aux fins d uniformisation de la codification des sources de revenus. Vérifications modifiées afin que les interruptions de service soient de plus de 3 jours et d un maximum de 30 jours. Ajout de nouvelles vérifications afin que les périodes d interruption de service se suivent si plusieurs interruptions sont déclarées. Ajout de nouvelles vérifications afin que les dates de fin d interruption de service soient antérieures ou identiques à la date de sortie. Ajout de nouvelles vérifications afin que le nombre total de jours passés hors du lit soit supérieur ou égal au nombre total de jours de l interruption de service. Ajout de nouvelles vérifications afin que la date d une évaluation trimestrielle, consécutive à un changement dans l état ou de sortie soit ultérieure à la date d évaluation complète d admission connexe. Ajout de nouvelles vérifications afin que la date d une évaluation trimestrielle ou consécutive à un changement dans l état soit antérieure à la date d évaluation de sortie connexe. Suppression de la restriction d envoi dans les deux ans pour que les données des exercices précédents puissent également être soumises à la base de données du SIOSM de l ICIS Ajout de nouvelles vérifications afin que le profil de l établissement soit soumis avant le fichier de données. Ajout de nouvelles vérifications afin que l âge à la première hospitalisation soit classé dans le groupe approprié selon le calcul date de début du séjour date de naissance. Ajout de nouvelles vérifications afin que la responsabilité de paiement soit codifiée. Ajout de nouvelles vérifications afin que les raisons de l admission soient codifiées. Ajout de nouvelles vérifications afin que la catégorie de diagnostics provisoires soit codifiée selon l importance. Ajout de nouvelles vérifications afin que le premier chiffre du numéro de l établissement soit un code provincial ou territorial valide. Ajout d une nouvelle valeur à la catégorie de diagnostics provisoires pour les patients admis à un lit en santé mentale pour des raisons non liées à la santé mentale. ICIS

20 Qualité des données de du Système d information ontarien sur la santé mentale Novembre Actualité L actualité fait principalement référence à la mesure dans laquelle les données sont actuelles au moment de leur diffusion. Le pourcentage d envois en retard permet d évaluer l actualité des données du SIOSM en Plus précisément, on a comparé le volume de données pour l exercice reçu au cours de ce même exercice à celui des données tardives reçues après la date limite d envoi pour et au cours du premier trimestre de Le tableau 10 indique le pourcentage d évaluations effectuées en qui ont été soumises au cours du premier trimestre de l exercice Les résultats montrent que le taux de soumissions tardives est négligeable dans le SIOSM. Par contre, des taux plus élevés de soumissions tardives pourraient compromettre les analyses qui s appuient sur les données d un exercice en particulier. Tableau 10 Pourcentage de soumissions tardives par type d évaluation dans le SIOSM Type d évaluation Pourcentage Numérateur Dénominateur Changement dans l état 0, Évaluation de sortie 0, Évaluation trimestrielle 0, Séjour de courte durée 0, Évaluation complète d admission 0, Total 0, Remarques Numérateur : nombre d évaluations effectuées en et soumises pendant le premier trimestre de Dénominateur : nombre total d évaluations pour l exercice dans la base de données à la fin du premier trimestre de Source Système d information ontarien sur la santé mentale, avril 2008 à août 2009, Institut canadien d information sur la santé. 5 Personnes-ressources Le présent document fait un survol du SIOSM et de la qualité des données soumises au système. Il s adresse aux utilisateurs des données et des rapports du SIOSM et vise à les aider à déterminer les limites potentielles des données et à leur fournir plus de contexte sur l utilisation des renseignements du SIOSM. Si vous avez des commentaires, des suggestions sur des analyses plus poussées ou ultérieures ou encore des questions sur le présent document, veuillez les envoyer à siosm@icis.ca. 16 ICIS 2009

21

22 À l avant-garde de l information sur la santé Taking health information further