1. Présentation du contexte de formation

EVALUATION DE COMPETENCES DANS LA REALISATION/EVALUATION D UNE RECHRECHE EN SOINS ET SANTE (TFE DE BACHELIER EN SOINS INFIRMIERS) : OUTILS ET DISPOSITIF D EVALUATION. Dumont Valérie HELMo Ste Julienne (v.dumont@helmo.be), Corman Cécile HELMo Ste Julienne (c.corman@helmo.be), Fastré Anne-Cécile HELMo Ste Julienne (ac.fastre@helmo.be), Faufra Laurence HELMo Ste Julienne (l.faufra@helmo.be) Mots-clés : Travail de fin d études, soins infirmiers, recherche, évaluation, compétences. Résumé. Le travail de fin d études de bachelier en soins infirmiers est dans notre Institut de formation, une recherche en soins et santé. Les objectifs poursuivis sont de préparer les étudiants dès la 2 e année à construire un projet de recherche qui doit être une problématique partagée avec un terrain professionnel particulier. Les compétences visées sont : la recherche et l actualisation de soi. Un dispositif de formation et d accompagnement spécifique est mis en place tout au long de la dernière année d étude, les accompagnateurs principaux sont un Guide Méthodologique (école) et un superviseur (milieu professionnel), des documents sont à la disposition de chacun pour définir les attentes de cet exercice d initiation à la recherche (fond, forme, grilles d évaluation, échéances, stages ). La pertinence de ce dispositif est mise en question au sein de la coordination TFE en regard de l évolution des formations et de la recherche en pédagogie et en soins infirmiers. 1. Présentation du contexte de formation L Institut Sainte Julienne (HELMo - Liège) et sa formation de bachelier en Soins Infirmiers a depuis de nombreuses années fait le choix de demander aux étudiants de réaliser et présenter au terme de leur formation une recherche en Soins et Santé qui est l objet du TFE. Ce travail correspond aux objectifs qui permettent aux étudiants de développer leur esprit scientifique au travers d un exercice réel de recherche dans un domaine professionnel. Les éléments du processus de formation proposés aux étudiants s ajustent chaque année aux évolutions scientifiques ; qu elles soient pédagogiques ou professionnelles. 1.1 La recherche en Soins et Santé dans la formation des bacheliers en Soins Infirmiers Il n est plus à démontrer l importance de la recherche pour le développement des professions. La pratique infirmière se doit aujourd hui d être fondée sur les données probantes, les Evidence Based Nursing afin de répondre aux critères de qualité nécessaires à cette pratique. Nous estimons donc que la recherche comme ressource pour la construction de compétences professionnelles et comme outil de formation est essentielle. Une formation construite avec et par la recherche. «L infirmière 1 formée doit pouvoir faire face aux difficultés quotidiennes qu elle rencontre, avec une attitude de questionnement, une capacité d analyse et une aptitude à proposer le changement. Face à des pratiques professionnelles qui résultent parfois plus d habitudes de service que d arguments rigoureux, elle devrait pouvoir aborder ces situations avec un esprit de recherche et ainsi intégrer à ses pratiques les apports de la recherche en soins infirmiers.» 2 L objectif de ce travail est donc de préparer l infirmier bachelier à mener une recherche ou à s y intégrer et améliorer par là la qualité des soins infirmiers. 1 Lire «infirmier/infirmière» 2 Extrait du document «Développer l esprit de recherche», travail de fin d études, 3 e bachelier en Soins Infirmiers, 2010-2011, non publié, disponible aux étudiants. 1

Ce travail de recherche permet donc de développer diverses compétences indispensables au professionnel de la santé. 1.2 La construction d un référentiel de Compétence A la rentrée académique 2006, un groupe de travail s est constitué au sein de l Institut dans le but de construire notre référentiel de Compétences. Après trois années de travail, les compétences retenues dans ce référentiel de formation professionnelle sont : l actualisation de soi, le jugement clinique, les prestations de soin, la communication et la recherche scientifique 3. Le référentiel a été mis en place en septembre 2009 avec la construction de nouveaux outils de formation et d évaluation (pour les stages, les épreuves intégrées, l examen clinique et le Travail de Fin d Etudes). Le groupe de coordination des TFE regroupant les Guides Méthodologiques (16 enseignants) a transformé ses outils de formation et d évaluation à partir des outils existants et du référentiel de Compétences. Ces documents ont seulement 2 années d existence et sont donc en «test» 4. Ils évaluent des critères de la compétence actualisation de soi 5 et de la compétence recherche scientifique 6 dans le travail écrit et dans la présentation/défense orale. 2. Le contenu du travail demandé aux étudiants La recherche demandée s appuie sur les méthodologies des sciences infirmières et des sciences humaines, les types de recherche sont variés et adaptés à la «demande» de recherche (demande de terrain) : il peut s agir de «recherche action» (construction d outils professionnels éducatifs ou autres ), d évaluation de pratiques (au sens large), d études de besoins... Ce sont des recherches à petite échelle et à orientation qualitative. Le processus général de la recherche demande donc à l étudiant de : 1. Identifier un problème de recherche et formuler une question de recherche 2. Etablir le cadre conceptuel de la recherche (partie théorique) 3. Formuler des hypothèses et fixer des objectifs de recherche (phase exploratoire du 1 e stage) 4. Effectuer la recherche en présentant le contexte de façon précise (partie pratique) Construire un outil de recherche Recueillir les données (second stage) Analyser les données Interpréter les résultats et conclure la recherche Le TFE aboutit à une appréciation personnelle et objective par l étudiant de la recherche effectuée et présente des déductions sous forme de propositions de changement ou d action d évolution (réalistes). 7 3 Nous remarquons que dans le document «(28/10/2010) : Recommandations du Conseil Supérieur Paramédical, nouvelle description des formations compétences et capacités transversales et spécifiques», la compétence recherche n est pas demandée pour les formations supérieures de type court. 4 Les documents d évaluation sont disponibles en annexe de ce document. 5 Compétence actualisation de soi : implication personnelle dans la construction de son projet de formation, le développement de son identité professionnelle, la promotion de la profession et l acquisition d un comportement éthique. 6 Compétence recherche scientifique : mobilisation d un ensemble de ressources afin de récolter les données nécessaires à la résolution d un problème professionnel. Il s agit par conséquent de prendre conscience d un manque de savoir, rechercher les sources d information fiables, trier et analyser les données, utiliser et évaluer le résultat de la recherche. 7 Fiche ECTS 3G600 Bachelier en Soins Infirmiers HELMo Ste Julienne 2

3. Les outils pédagogiques de formation et d accompagnement des TFE Des documents de travail sont mis à disposition des étudiants : une brochure «Développer l esprit de recherche» qui reprend les consignes, rappels de fond et de forme et depuis 2007-2008, un «Journal de bord» permet un lien entre le milieu de recherche et le milieu de formation en reprenant les rôles de chacun et les actions menées lors de la recherche. Le processus TFE débute lors du cours d initiation à la recherche en 2 e année (12 heures). Les choix de la problématique et du terrain de recherche sont de la responsabilité des étudiants, ils sont ensuite validés par le groupe des guides méthodologiques en fin de 2 e année et seront ensuite validés par les infirmiers cadres hospitaliers responsables de la coordination de la recherche (partenariat structuré) en octobre de la 3 e année (en Belgique ou à l étranger) 8. Du temps est laissé aux étudiants pour effectuer ce travail qui est assimilé à des heures de stage : 2x2 semaines planifiées pour valider 112 heures de stage. Des rencontres (9) sont planifiées tout au long de l année avec le Guide Méthodologique selon un échéancier précis, elles sont partie intégrante de la charge de travail des enseignants et des étudiants. La présentation des TFE a été avancée avant la session suite à une enquête (2005) réalisée auprès des étudiants. Ce travail valide 5 crédits sur 60. Nous observons que la réussite de ce travail est étroitement liée à la capacité de l étudiant à tenir compte des feedback reçus lors des différentes étapes de l échéancier (évaluations formatives). Nous n encourageons pas les étudiants à présenter un travail insuffisant et avons instauré un document d autorisation d imprimer indicatif de la qualité du travail une semaine avant de le rendre. Certains étudiants en difficulté choisissent dès février de présenter leur travail en seconde session en mettant la priorité sur les autres activités de formation. 4. Les outils d évaluation certificative des TFE et le jury d évaluation Les grilles d évaluation certificatives 9 sont les mêmes pour tous les membres du jury 10 et sont connues des étudiants dès le début du travail. Actuellement, les documents reprennent différents critères d évaluation des compétences sans demander une évaluation par critère. Ceci permet d avoir le même document pour tous les évaluateurs, chacun ayant un regard différent sur certains critères du travail final. L évaluation de l écrit (sur 80) et de la présentation/défense orale (sur 20) reste «globale» avec l appréciation des différents critères de compétences sous forme de commentaires. Chaque évaluateur vient à la défense orale avec son document complété (commentaires et cote de l écrit). Les éléments d évaluation sont ensuite mis en commun lors de la «délibération du jury TFE» pour aboutir à une cote commune sur 20, commentée en synthèse. C est ce dernier document qui sera montré aux étudiants après la délibération de la session d examen. Après deux années de mise en œuvre, les réflexions du groupe de coordination TFE à propos de l évaluation dans ce contexte sont entre autre celles-ci : Les différents membres du jury ont-ils des compétences pour évaluer (formation, différentes expertises professionnelles, homogénéité )? 8 Les partenaires du travail de recherche sont : le Guide méthodologique (Maître Assistant en Soins Infirmiers), le superviseur (un infirmier bachelier qui est le garant de l organisation et du suivi de la recherche sur le terrain), les cadres hospitaliers responsables de la coordination de la recherche en formation, le lecteur (enseignant de l école) arrivera en fin de parcours pour l évaluation. 9 Documents à voir en annexe 1. 10 Le jury d évaluation est composé du superviseur (terrain), du guide méthodologique (école) et d un lecteur (école). 3

Nos outils d évaluation de compétences dans une situation de TFE sont-ils valides, fiables, fidèles? Peut-on mieux évaluer, avec quels critères (observables) et quels outils de mesure des compétences en développement ou acquises? Ces questions seront travaillées en 2011-2012 par une analyse/évaluation des pratiques/documents d évaluations de 2010-2011. 5. Conclusion L analyse en cours nous a poussés à redéfinir la tâche et les objectifs poursuivis par ce travail de fin d études; les questions de mise en œuvre de l évaluation font toujours débat. La question actuellement posée est celle de la pertinence de continuer à réaliser cet exercice de recherche dans le contexte européen des certifications qui ne reconnait pas aux bacheliers la possibilité ni les moyens d être des chercheurs à part entière. Il est également réel que de nombreux Instituts de formation font aujourd hui un autre choix en se dirigeant vers des travaux de lecture et mise en œuvre des recherches en Soins Infirmiers. En conclusion, nous reconnaissons les limites de l exercice si l on envisage les critères de validité scientifique des outils de recherche mis en œuvre dans les TFE, cependant, nous souhaitons continuer à proposer cet exercice aux étudiants parce qu il permet de les initier à la recherche par la recherche et de découvrir dans ce travail la dimension scientifique que toute profession de santé doit mettre au cœur de ses pratiques. Le développement de la recherche en formation ayant été encouragé par le comité des experts de l audit des bacheliers Soins Infirmiers et Sage Femme dans son analyse transversale de décembre 2011; audit organisé par l Agence pour l Evaluation de la Qualité de l Enseignement Supérieur (Fédération Wallonie-Bruxelles). 6. Références et bibliographie Eymard C., Thuilier O., Vial M. (2004), Le travail de fin d études. S initier à la recherche en soins et santé. Lamarre, Paris. Morissette, R. (2002), Accompagner la construction des savoirs. Chenelière Education, Canada. Roberton G., Cateau C. (2004), Diplôme d Etat d infirmier. Le travail de fin d études. Masson, Paris. Le référentiel de Compétences en Soins Infirmiers produit par HELMo Sainte Julienne (2009-2010) non publié. La brochure «Développer l esprit de recherche» et le «Journal de bord» produits par la coordination TFE de HELMo Sainte Julienne (2010-2011) non publié. 4

Annexe 1. Grille d évaluation de l ECRIT du TFE HELMo Ste Julienne pour chaque évaluateur CRITERES D EVALUATION DU FOND COMMENTAIRES ET COTE /50 = A. Evaluation de la Compétence Recherche : réalisation d une recherche en soins et santé 1. Enonce une question de recherche en soins et santé Identifie précisément le problème traité Définit clairement le (les) objectif(s) à atteindre 2. Prend conscience d un manque de savoir Fait preuve d adéquation avec la réalité de terrain Est critique par rapport à ses certitudes et représentations Propose des arguments professionnels quant au choix de la recherche. Définit le caractère indispensable de la recherche. (problématisation) 3. Recherche des sources fiables Consulte divers supports et choisit un contenu actualisé au niveau conceptuel et méthodologique Crée, s approprie, utilise des outils de recherche 4. Trie et analyse le résultat de la recherche Présente les éléments principaux dégage les informations utiles motive, argumente le choix effectué Choisit des outils d analyse adéquats et les argumente Met en relation les résultats avec la littérature 5. Evalue et utilise le résultat de la recherche (communication orale, écrite et exploitation) Etablit le relevé des sources développe les concepts utiles Restitue objectivement la recherche : méthodologie et résultats Elabore des propositions personnelles, concrètes et réalistes (propose au moins une action en réponse au problème) Critique sa démarche 6. Bonus : Capable de porter ses résultats à la connaissance d autrui de façon objective Contribue au questionnement des praticiens et des savoirs scientifiques B. Evaluation de la compétence actualisation de soi 1. Acteur de sa formation, gère son projet Personnalise son projet et ses objectifs dresse et respecte son plan d action 2. Actif dans son apprentissage Se prépare à la spécificité du stage, sollicite les conseils et l aide sous une forme adaptée (rendez-vous, documents fournis) S autoévalue, s autorégule, fait signer l autorisation d imprimer 3. Se positionne comme futur professionnel dans ses relations de travail 4. Construit son identité en respectant le cadre (législatif, éthique, déontologique) Est conscient de ses responsabilités, reconnaît ses erreurs et y remédie Agit en fonction des valeurs et règles professionnelles 5. Contribue au développement et à la valorisation de la profession CRITERES D EVALUATION DE LA FORME COMMENTAIRES ET COTE/20 = Travail agréable à consulter (mise en page, style et orthographe) Ecrit sobre, créatif sans excès Construction, articulation logiques et claires (table des matières, liaison entre les chapitres ) QUALITE DE L ABSTRACT (DOS DU DOCUMENT) COTE/10 = Cote globale /80 Signature 5

Grille d évaluation de l ORAL du TFE HELMo Ste Julienne pour chaque évaluateur CRITERES D EVALUATION DE LA PRESENTATION (20 MIN) REMARQUES /10 A. Evaluation de la Compétence Recherche : Présentation d une recherche en soins et santé 1. Prend conscience d un manque de savoir Exprime son questionnement de départ Est critique par rapport à ses certitudes et représentations Propose des arguments professionnels quant au choix de la recherche (problématisation) 2. Trie et analyse le résultat de la recherche Présente les éléments principaux dégage les informations utiles - motive les choix effectués Met en relation les résultats avec la littérature 3. Evalue et utilise le résultat de la recherche (oralement) Restitue objectivement la recherche méthodologie et résultats Présente de façon adaptée, claire et précise les résultats de la recherche (maîtrise du sujet) Elabore des propositions personnelles, concrètes et réalistes (au moins une) Critique éventuellement sa démarche 4. Moyens utilisés pour communiquer Qualité de l expression Répartition du temps de parole (travail à deux) Créativité de la présentation (sans escalade) B. Evaluation de la Compétence actualisation de soi 1. Se positionne comme futur professionnel 2. Construit son identité en respectant le cadre (législatif, éthique, déontologique) 3. Contribue au développement et à la valorisation de la profession CRITERES D EVALUATION DE LA SOUTENANCE (20 MIN) /10 REMARQUES Est capable d écoute et de débat Répond effective aux questions posées Argumente avec précision Capable de clarifier sa démarche ou reconnaître un manque de savoir Capable d ouverture aux autres idées Cote globale /20 Signature 6