Utilisation d Outils d Évaluation de Mesure dans la Pratique Infirmière- Ce qu il Faut Savoir

Transcription

1 Utilisation d Outils d Évaluation de Mesure dans la Pratique Infirmière- Ce qu il Faut Savoir Par Madalina Boitor, Inf., BSc(N) École des Sciences Infirmières Ingram, Université McGill, Montréal, Québec madalina.boitor@mcgill.ca Céline Gélinas, Inf., PhD Professeure Agrégé, École des Sciences Infirmières Ingram, Université McGill, Montréal, Québec celine.gelinas@mcgill.ca

2 Objectifs d apprentissage 1. Connaitre les standards de mesure guidant la sélection d outils d évaluation dans la pratique infirmière 2. Comprendre l impact de l utilisation d outils d évaluation sur l obtention de résultats cliniques et sur l établissement du plan thérapeutique infirmier

3 Éléments clé de l utilisation d outils But d utilisation What Clientèle Who Contexte Where Streiner et al., 2014

4 Stratégies de Validation Validation de contenu Validation de construit Validation de critère

5 Validation de contenu Un groupe d'experts examine le contenu de l outil et détermine à quel degré les questions ou items d'un outil servent à mesurer les caractéristiques étudiées d un construit. Pour chaque item d un outil, un indice de validation de contenu est calculé et correspond à la proportion d experts qui le considère pertinent. I-IVC > 0.78 (Polit et al., 2007)

6 Validation de construit Validation convergente - La corrélation du score d un l outil de mesure avec le score d un autre outil, idéalement utilisant une autre méthode, et mesurant le même construit - Exemple: en utilisant un questionnaire complété par les participants et un outil de mesure observationnel Validation discriminante - La manque de corrélation du score de l outil avec le score d un autre outil qui mesure un construit non associé théoriquement - Exemple: en utilisant des outils mesurant deux symptômes différents tel que la douleur et la dyspnée

7 Validation de critère Vise à évaluer la relation entre le score de l outil et celui d un autre outil reconnu comme étant la norme (gold standard) dans le domaine. Dans le cas de la douleur, l autoévaluation est la norme. Coefficient de corrélation >0.70 (Streiner, 1993)

8 Stratégies de Fiabilité Cohérence Interne Concerne l homogéneité des items qui le composent et dépend de la corrélation entre les items. Coefficient Alpha de Cronbach 0.7 < α < 0.9 Plus qu un item En gardant l hypothèse que tous les items soient inter-correlés Fiabilité Test-Retest (Stabilité) - Vise à établir le degré de corrélation entre les résultats obtenus à deux moments différents, à l'aide du même outil et avec les mêmes sujets - Coefficient de Corrélation >0.70 Streiner & Norman, 2014; Strickland, 1999

9 Stratégies de Fiabilité Fiabilité Inter-Juge Concerne la concordance des scores obtenus par deux ou plusieurs examinateurs qui évaluent le même sujet au même moment et avec le même outil Pourcentage de concordance >80% (Goodwin & Prescott, 1981) Kappa κ >0.60 (Fleiss, 1971) Corrélation Intra-Classe (ICC) > (Laschinger, 1992) Fiabilité Intra-Juge Sert à évaluer la stabilité des scores obtenus par le même examinateur pour les mêmes patients à des occasions différentes Utile si la fiabilité inter-juge est faible afin d identifier la source d incohérence L utilisation des vidéos peut être envisagée (Haidet et al., 2009) Gélinas, 2011; Goodwin & Prescott, 1981; Streiner & Norman, 2008

10 Quelques Exemples PAINAD (Pain Assessment in Advanced Dementia) CPOT (Critical-Care Pain Observation Tool) FLACC (Face, Legs, Activity, Cry, Consolability)

11 PAINAD et CPOT Paulson-Conger et al., 2011

12 Gelinas et al., 2006; Paulson-Conger et al., 2011 CPOT Indicator Score = 0 Score = 1 Score = 2 Facial Expression Relaxed, neutral Tense Grimacing Body Movements Absence of movements Protection Restlessness Muscle Tension Relaxed Tense, rigid Very tense or rigid Compliance with ventilator (intubated patients) OR Vocalization (extubated patients) Tolerating ventilator or movement Talking in normal tone or no sound Coughing but tolerating Sighing, moaning Fighting ventilator Crying out, sobbing

13 Paulson-Conger et al., 2011 PMN 2011;12(4): PAINAD CPOT Est-ce que ces résultats appuient la validité d utilisation du PAINAD à l USI? 100 patients d USI Evaluation au repos Résultats: r=0.86 (p<0.001) entre les scores des 2 échelles Concordance adéquate entre les scores

14 FLACC Face, Legs, Activity, Cry, Consolability Voepel-Lewis et al., 2010

15 Voepel-Lewis et al., 2010

16 Afin d obtenir des résultats cliniques valides et fiables, il faut s assurer : a)que l outil est utilisé avec la population et dans le contexte pour lequel il a été développé et validé b)que les critères de l utilisation de l outil soient respectés c)que la formation nécessaire pour une utilisation appropriée de l outil soit offerte d)que les résultats sont interprétés de façon adéquate dans l établissement du plan thérapeutique infirmier

17 À considérer également dans la sélection d outils d évaluation Faisabilité Formation requise Facilité d utilisation Temps d administration Études d implantation en pratique L impact sur les pratiques de soins L impact sur les résultats patients Disponibilité du materiel de formation Demander la permission d utiliser l outil!

18 À retenir L obtention des résultats cliniques valides et fiables dépend de la sélection appropriée d outils d évaluation et le respect des conditions d utilisation. Gardez un oeil critique sur la littérature

19

20 Références Fleiss J. (1971). Measuring nominal scale agreement among many raters. Psychology Bulletin, 76, Gelinas, C., Fillion, L., Puntillo, K. A., Viens, C., & Fortier, M. (2006). Validation of the criticalcare pain observation tool in adult patients. American Journal of Critical Care, 15(4), Goodwin, L.D., & Prescott, P.A. (1981). Issues and approaches to estimating interrater reliability in nursing research. Research in Nursing & Health, 4, Haidet Kopenhaver, K., Tate, J., Divirgilio-Thomas, D., Kolanowski, A., & Happ, M. B. (2009). Methods to improve reliability of video-recorded behavioral data. Research in Nursing & Health, 32(4), Laschinger,H.K. (1992). Intraclass correlations as estimates of interrater reliability in nursing research. Western Journal of Nursing Research, 14, Paulson-Conger, M., Leske, J., Maid, C., Hanson, A., & Dziadulewicz, L. (2011). Comparison of Two Pain Assessment Tools in Nonverbal Critical Care Patients. Pain Management Nursing, 12(4), Polit, D.F., Beck, C.T., Owen, S.V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30,

21 Références Streiner, D.L. (1993). Research methods in psychiatry: a checklist for evaluating the usefulness of rating scales. Canadian Journal of Psychiatry, 38, Streiner, D.L., Norman, G.R. & Cairney, J. (2014). Health Measurement Scales: A Practical Guide to Their Development and Use (5th ed.). Oxford: Oxford University Press. Strickland, O.L. (1999). When is internal consistency reliability assessment inappropriate? Journal of Nursing Measurement, 7, 3-4. Voepel-Lewis, T., Zanotti, J., Dammeyer, J. A., & Merkel, S. (2010). Reliability and Validity of the Face, Legs, Activity, Cry, Consolability Behavioral Tool in Assessing Acute Pain in Critically Ill Patients. American Journal of Critical Care, 19(1),