Évaluer pour faire évoluer : améliorer la qualité de la formation par le biais d audits. Denyze Toffoli, Université de Strasbourg LILPA EA1339

Transcription

1 Évaluer pour faire évoluer : améliorer la qualité de la formation par le biais d audits Strasbourg LILPA EA1339

2 Audit? Observation de l activité de formation (pédagogie) dans une perspective de contrôle qualité

3 Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats

4 Positionnement de ma recherche Entre RA (Narcy-Combes, 2005) et R&D (Guichon, 2006) Système complexe dynamique (Van Geert, 2008) Multi-factorielle Évolution temporelle Contraintes et paramètres non-constants

5 Une demande de l industrie Mettre en place une contrôle qualité pour un dispositif de formation anglais de grande envergure Multi sites (10 +) Multi prestataires (10 -) Ingénierie de formation solide (référentiel, parcours, ressources, outils)

6 Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats

7 Éléments essentiels de qualité Rapport 1998 UNESCO Agences certifiant semi-autonomes Normes et attentes explicites Auto-évaluations des organismes Audits d experts externes Préconisations écrites Rapports publics Attention aux processus et résultats Développer des processus d évaluation des situations d enseignement / apprentissage

8 Quels modèle(s)? Normes & Certifications qualité Contexte français Contexte angloaméricain Ingénierie de formation Carré et al (1999) Ardouin (2006) IGEN Rapport Attali & Bressoux (2002) Écoles à l étranger Espagne (Hughes, 2007)

9 Normes, Certifications & Labels pour la formation Critères types Légaux, administratifs, juridiques Satisfaction clients Financiers Techniques Ce qui manque Formation, enseignements, processus pédagogiques

10 Normes, Certifications & Labels pour la formation CIEP (qualité flᵊ) : 1 domaine / 5 formation, enseignements mais pas d accès aux modèle TESOL : Standards for ESL/EFL Teachers of Adults Framework (2000) mais pas de critères précis ni outils de mesure

11 Ingénierie de formation : évaluation & suivi de dispositif Suivi aux niveaux individu, groupe, institution (Carré et al, 1999) 12 objets d évaluation (Ardouin, 2006) Connaissance & compétences des individus En situation de formation & en situation professionnelle Satisfaction des participants (pertinence, cohérence, efficience) Le formateur-animateur (contenu, animation du groupe, qualification, ) La session de formation (contenu technique, déroulement, progression pédagogique, )

12 L inspection dans le second degré (Rapport Attali & Bressoux, 2002) «Elle est d abord un contrôle de conformité» «En observant la séance, l évaluateur apprécie les choix du professeur relatifs à La séance dans la progression Objectifs à atteindre Structure et plan de séquence Identification des connaissances et compétences à acquérir Procédures d évaluation»

13 Identification et validation d indicateurs de qualité (Hughes 2007) 6 domaines d indicateurs concernent des observables «en cours» Ressources humaines Gestion de classe Implication des apprenants Tâches Suivi des apprenants Satisfaction des apprenants

14 Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats

15 Processus (méthodologie) Prévision de différents types de contrôles Élaboration d une démarche d observation Élaboration d une grille de critères Validation de contenu Experts (4) Tests (2 révisions importantes) Déploiement

16 Six domaines audités Préparation Animation Respect de l individu Intervenants Suivi Adéquation au contexte entreprise Plan d animation Adéquation activités / objectifs Encouragements / productions valorisées Maîtrise des contenus Préparation de la suite Conformité parcours / utilisation d outils

17 Notation Échelle Likert à 4 niveaux Pondération des items (de 1 à 3) Critères décisifs Commentaires Rapport rédigé (argumenté) Note globale sur 4 très insuffisant, insuffisant, suffisant, bien

18

19 Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats

20 Résultats quantitatifs Corpus = 40 audits Résultats globaux 18 insuffisants, dont 2 très insuffisant 22 satisfaisants, dont 2 très bien Corrélations entre moyenne sur critères décisifs et moyennes globales

21 Résultats quantitatifs Activités conformes aux programmes 71% (27/38) non 16% bien Utilisation de la mise en situation 73% (28/38) non 1 seule bien Maîtrise des situations professionnelles 60% (3/5) non

22 Résultats quantitatifs : correction des erreurs Erreurs sémantiques 66% Erreurs morphosyntaxiques 71% Erreurs phonologiques 21% Pertinence du moment 71% Pertinence de la réponse aux questions 71%

23 Résultats qualitatifs 2 re-ingénieries du dispositif (devenu plus prescriptif) 3 nouveaux appels d offres «Repêchage» de 2 excellents prestataires, menacés par volonté «uniprestataire» Terminaison d une période d essai

24 Autres conséquences Évolution du statut des audits : outil de sanction outil formatif Pointe certaines faiblesses du coté du commanditaire Organisation en amont (commandes, volumes) Organisation matérielle (salles, horaires, ) Information des stagiaires (changements) Organisation en aval (règlement factures)

25 Limites & biais Positionnement entre RA et R&D Subjectivité Implication / distanciation du chercheur Résultats quantitatifs à développer

26 Perspectives Affiner le cadre théorique pour chacun des critères Simplifier la grille au vu des corrélations Utiliser pour la sélection Transposer à d autres contextes Réaliser analyses croisées avec mesures de satisfaction & scores TOEIC