Évaluer pour faire évoluer : améliorer la qualité de la formation par le biais d audits Strasbourg LILPA EA1339
Audit? Observation de l activité de formation (pédagogie) dans une perspective de contrôle qualité
Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats
Positionnement de ma recherche Entre RA (Narcy-Combes, 2005) et R&D (Guichon, 2006) Système complexe dynamique (Van Geert, 2008) Multi-factorielle Évolution temporelle Contraintes et paramètres non-constants
Une demande de l industrie Mettre en place une contrôle qualité pour un dispositif de formation anglais de grande envergure Multi sites (10 +) Multi prestataires (10 -) Ingénierie de formation solide (référentiel, parcours, ressources, outils)
Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats
Éléments essentiels de qualité Rapport 1998 UNESCO Agences certifiant semi-autonomes Normes et attentes explicites Auto-évaluations des organismes Audits d experts externes Préconisations écrites Rapports publics Attention aux processus et résultats Développer des processus d évaluation des situations d enseignement / apprentissage
Quels modèle(s)? Normes & Certifications qualité Contexte français Contexte angloaméricain Ingénierie de formation Carré et al (1999) Ardouin (2006) IGEN Rapport Attali & Bressoux (2002) Écoles à l étranger Espagne (Hughes, 2007)
Normes, Certifications & Labels pour la formation Critères types Légaux, administratifs, juridiques Satisfaction clients Financiers Techniques Ce qui manque Formation, enseignements, processus pédagogiques
Normes, Certifications & Labels pour la formation CIEP (qualité flᵊ) : 1 domaine / 5 formation, enseignements mais pas d accès aux modèle TESOL : Standards for ESL/EFL Teachers of Adults Framework (2000) mais pas de critères précis ni outils de mesure
Ingénierie de formation : évaluation & suivi de dispositif Suivi aux niveaux individu, groupe, institution (Carré et al, 1999) 12 objets d évaluation (Ardouin, 2006) Connaissance & compétences des individus En situation de formation & en situation professionnelle Satisfaction des participants (pertinence, cohérence, efficience) Le formateur-animateur (contenu, animation du groupe, qualification, ) La session de formation (contenu technique, déroulement, progression pédagogique, )
L inspection dans le second degré (Rapport Attali & Bressoux, 2002) «Elle est d abord un contrôle de conformité» «En observant la séance, l évaluateur apprécie les choix du professeur relatifs à La séance dans la progression Objectifs à atteindre Structure et plan de séquence Identification des connaissances et compétences à acquérir Procédures d évaluation»
Identification et validation d indicateurs de qualité (Hughes 2007) 6 domaines d indicateurs concernent des observables «en cours» Ressources humaines Gestion de classe Implication des apprenants Tâches Suivi des apprenants Satisfaction des apprenants
Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats
Processus (méthodologie) Prévision de différents types de contrôles Élaboration d une démarche d observation Élaboration d une grille de critères Validation de contenu Experts (4) Tests (2 révisions importantes) Déploiement
Six domaines audités Préparation Animation Respect de l individu Intervenants Suivi Adéquation au contexte entreprise Plan d animation Adéquation activités / objectifs Encouragements / productions valorisées Maîtrise des contenus Préparation de la suite Conformité parcours / utilisation d outils
Notation Échelle Likert à 4 niveaux Pondération des items (de 1 à 3) Critères décisifs Commentaires Rapport rédigé (argumenté) Note globale sur 4 très insuffisant, insuffisant, suffisant, bien
Plan Positionnement de ma recherche Quelques modèles Méthodologie Élaboration de l outil Résultats
Résultats quantitatifs Corpus = 40 audits Résultats globaux 18 insuffisants, dont 2 très insuffisant 22 satisfaisants, dont 2 très bien Corrélations entre moyenne sur critères décisifs et moyennes globales
Résultats quantitatifs Activités conformes aux programmes 71% (27/38) non 16% bien Utilisation de la mise en situation 73% (28/38) non 1 seule bien Maîtrise des situations professionnelles 60% (3/5) non
Résultats quantitatifs : correction des erreurs Erreurs sémantiques 66% Erreurs morphosyntaxiques 71% Erreurs phonologiques 21% Pertinence du moment 71% Pertinence de la réponse aux questions 71%
Résultats qualitatifs 2 re-ingénieries du dispositif (devenu plus prescriptif) 3 nouveaux appels d offres «Repêchage» de 2 excellents prestataires, menacés par volonté «uniprestataire» Terminaison d une période d essai
Autres conséquences Évolution du statut des audits : outil de sanction outil formatif Pointe certaines faiblesses du coté du commanditaire Organisation en amont (commandes, volumes) Organisation matérielle (salles, horaires, ) Information des stagiaires (changements) Organisation en aval (règlement factures)
Limites & biais Positionnement entre RA et R&D Subjectivité Implication / distanciation du chercheur Résultats quantitatifs à développer
Perspectives Affiner le cadre théorique pour chacun des critères Simplifier la grille au vu des corrélations Utiliser pour la sélection Transposer à d autres contextes Réaliser analyses croisées avec mesures de satisfaction & scores TOEIC