Élaboration et validation d une version abrégée d un test portant sur l indécision vocationnelle

Élaboration et validation d une version abrégée d un test portant sur l indécision vocationnelle Éric Frenette, France Picard, Frédéric Guay, Julie Labrosse Université Laval

PLAN DE LA PRÉSENTATION Introduction But de la recherche Questionnaire Étude 1 Objectifs Méthodologie Résultats Étude 2 Objectifs Méthodologie Résultats Discussion Limites Conclusion 2/25

INTRODUCTION L indécision sur le plan académique ou professionnel est un problème fréquent chez les étudiants (Germeijs & Verchueren, 2006) L indécision réfère à l inhabileté des étudiants à effectuer un choix ou à s engager dans une action requise pour prendre une décision (Forner, 2007) Au Québec, 30% des étudiants de première année au cégep n ont pas d idée spécifique à propos de leur carrière académique ou professionnelle (Picard, Boutin, & Skakni, 2010) Conséquences négatives de l indécision : faible rétention et difficultés académiques 3/25

INTRODUCTION Manque de questionnaires pour évaluer l indécision vocationnelle adaptés chez les étudiants du cégep ou de l université Selon Robins, Hendin et Trzesniewski, (2001), les chercheurs devraient utiliser des échelles d indécision : Basées sur les théories les plus récentes de la décision Présentant de bonnes qualités psychométriques Adaptées aux étudiants aux études graduées Courte afin de réduire la fatigue, frustation, etc. 4/25

BUT DE LA RECHERCHE Le but de cette recherche consiste à obtenir des preuves de validité pour une forme abrégée d un nouveau questionnaire, soit l Épreuve de décision vocationnelle, forme scolaire (EDV- 9S; Forner 2009, 2010). Deux études seront effectuées : Étude 1 Vérifier les qualités psychométriques de la forme originale Proposer une version abrégée à l aide du modèle de Rasch Vérifier les qualités psychométriques de la forme abrégée Étude 2 Vérifier les qualités psychométriques de la version abrégée 5/25

QUESTIONNAIRE Épreuve de décision vocationnelle, forme scolaire (EDV-9S) 52 énoncés répartis selon six dimensions Le manque de connaissance de soi Le manque de développement vocationnel Le manque de méthode de décision Le manque d information professionnelle Obstacles externes Anticipations pessimistes Échelle en quatre points 1 (ne s applique pas) à 4 (s applique définitivement) 6/25

QUESTIONNAIRE (SUITE) Validation auprès de 1152 étudiants (Mage = 15,6 années; 60% de femmes) de lycée en France (Forner, 2009, 2010) Six dimensions obtenues suite à une analyse factorielle exploratoire (rotation varimax) Présomption de corrélations entre les dimensions Pas d analyse factorielle confirmatoire Niveau de consistance interne d acceptable à satisfaisant (,66 à,87) 7/25

ÉTUDE 1 (Objectifs) Évaluation du niveau de consistance interne et de la validité factorielle Proposition d une version abrégée à partir du modèle de Rasch (rating scale model) Évaluation du niveau de consistance interne et de la validité factorielle de la version abrégée 8/25

ÉTUDE 1 (Méthodologie) Collecte de données en août 2009 778 étudiants de première année (programme technique, préuniversitaire ou session d accueil et d intégration) de 19 cégeps 341 hommes, 431 femmes, et 3 non identifiés Âge moyen 17,68 ans (ET = 1.78) Analyse factorielle confirmatoire EQS 6.2 (Bentler, 2006); CFI, NNFI, RMSEA Variables catégorielles, maximum de vraisemblance, robust Analyses Rasch Rating scale model Goodness of fit (infit et outfit) et niveau d endossement 9/25

ÉTUDE 1 (Résultats) La consistance interne des six échelles est considérée satisfaisante variant de,81 à,91 Les indices de discrimination sont considérés adéquats (>.30) Les résultas de l analyse factorielle confirmatoire à six dimensions corrélées sont excellent (NNFI =,98; CFI =,98; RMSEA =,045 [,043-,047]) Toutes les saturations sont significatives Corrélations entre les sous-échelles varient de,30 à,76 10/25

ÉTUDE 1 (Résultats) Des résultats similaires sont obtenus pour les autres dimensions Table 1. Saturation, Mean, and Standard Deviation of the Original Form of the EDV-9S Item Saturation M SD Lack of self-knowledge 2.01.84 A1.756 2.25 1.13 A2.857 1.86.99 A3.735 1.91 1.01 A4.856 2.13 1.11 A5.902 1.98 1.10 A6.879 1.97 1.10 A7.694 2.13 1.12 A8.877 1.86 1.04 Lack of readiness 1.49.58 B1.726 1.34.72 B2.781 1.57.81 B3.787 1.46.77 B4.737 1.75 1.03 B5.801 1.48.82 B6.837 1.39.70 B7.780 1.49.84 B8.736 1.43.82 11/25

ÉTUDE 1 (Résultats) Table 2. Separation Index and Reliability for Items and Students Scores on the Indecision-related Problems Subscales Items Students Subscale Real sep. Reliability Real sep. Reliability LSK 6.54.98 2.04.81 LR 5.89.97 1.32.64 LVI 13.67.99 1.86.78 LMDM 6.33.98 2.45.86 EB 5.19.96.84.41 DB 5.80.97 2.06.81 Note. LSK: Lack of self-knowledge; LR: Lack of readiness; LVI: Lack of vocational information; LMDM: Lack of method in decision making; EB: External barriers; DB: Dysfunctional beliefs. Table 3. Rasch Calibration Results for the Lack of Readiness Subscale Infit Outfit Item r t number δ SE MNSQ ZSTD MNSQ ZSTD B1.57.08 1.07.9.93 -.7.64 B6.57.08 1.07.9.93 -.7.64 B3.09.07.79-3.3.73-3.6.73 B8.09.07.79-3.3.73-3.6.73 B5.01.07 1.16 2.3 1.29 3.4.67 B2 -.26.06.81-3.1.80-3.0.76 B7 -.26.06.81-3.1.80-3.0.76 B4 -.81.06 1.59 8.3 1.67 8.7.68 Note. δ = Lack of readiness level; SE = standard error; MNSQ = Mean-square fit statistic; ZSTD = standardized mean-square statistic; r t = point-biserial correlation between items and total measured lack of readiness based on the Rasch calibrated item scores and total scores 12/25

ÉTUDE 1 (Résultats) Retrait des items présentant de mauvaises statistiques d ajustement Choix par des experts lors de la présence d items avec des niveaux d endossement similaires Version abrégée de 24 items (4 items par dimensions) Consistance interne satisfaisante de,71 à,88 AFC à six dimensions corrélées (NNFI =,98; CFI =,98; RMSEA =,042 [,037-,046]) Toutes les saturations sont significatives Corrélations variant de,32 à,84 (M =,56, ET =,15) 13/25

ÉTUDE 2 (Objectifs) Évaluation du niveau de consistance interne et de la validité factorielle de la version abrégée Évaluation de la validité convergente et divergente (ici les temps 1 et 2 remplacent les méthodes) Évaluation de l invariance de la structure factorielle selon le genre et le temps 14/25

ÉTUDE 2 (Méthodologie) Deux collectes de données (août 2010 et décembre 2010) Temps 1 : 757 étudiants de première année (programme technique, préuniversitaire ou session d accueil et d intégration) de 18 cégeps 324 hommes, 423 femmes, et 10 non identifiés Âge moyen 18,00 ans (ET = 2,18) Temps 2 : 584 étudiants de première année (programme technique, préuniversitaire ou session d accueil et d intégration) de 18 cégeps 223 hommes, 352 femmes, et 9 non identifiés Âge moyen 17,94 ans (ET = 2,14) 15/25

ÉTUDE 2 (Méthodologie) Multitrait-multiméthode Validité convergente Corrélation même trait pour différentes méthodes doit être élevée Validité divergente Corrélation entre différents traits pour différentes méthodes doit être faible Effet méthode Corrélation entre différents traits plus élevée que validité convergente; effet méthode doit être faible Corrélation entre les traits (similaire selon différentes méthodes) 16/25

ÉTUDE 2 (Méthodologie) Analyse factorielle confirmatoire EQS 6.2 (Bentler, 2006) CFI, NNFI, RMSEA Variables catégorielles Maximum de vraisemblance, robust Invariance (selon genre et temps) Invariance configurale Invariance de la mesure Invariance des corrélations entre les dimensions La consistance interne des six échelles est considérée acceptable à satisfaisante variant de,71 à,87 au temps 1 et de,67 à,88 au temps 2 Les indices de discrimination sont considérés adéquats (>.30) pour le temps 1 et 2 17/25

ÉTUDE 2 (Résultats) Les résultas de l analyse factorielle confirmatoire à six dimensions corrélées sont excellent : (NNFI =,98; CFI =,98; RMSEA =,042[,037-,046]) pour temps 1 et (NNFI =,99; CFI =,99; RMSEA =,034[,028-,040]) pour temps 2 Toutes les saturations sont significatives Corrélations entre les sous-échelles varient de,31 à,82 (M=,52; ET =,15) pour temps 1 et de,35 à,89 (M=,56; ET =,14) pour temps 2 18/25

ÉTUDE 2 (Résultats) Validité convergente De,30 à,70 (M =,53; ET =,13) Validité divergente (M =,28; ET =,13) Effet méthode (effet modéré) (M =,40; ET =,13) Patrons de corrélations (M =,39; ET =,14) (M =,42; ET =,12) 19/25

ÉTUDE 2 (Résultats) Invariance selon le genre à temps 1 Configurale (NNFI =,98; CFI =,99; RMSEA =,040[,035-,045]) De la mesure (NNFI =,99; CFI =,99; RMSEA =,039[,034-,044]) Différence de CFI plus petite que.01 Des corrélations (NNFI =,99; CFI =,99; RMSEA =,039[,034-,044]) Différence de CFI plus petite que.01 20/25

ÉTUDE 2 (Résultats) Invariance selon le temps Configurale (NNFI =,99; CFI =,99; RMSEA =,038[,034-,041]) De la mesure (NNFI =,99; CFI =,99; RMSEA =,038[,034-,041]) Différence de CFI plus petite que.01 Des corrélations (NNFI =,99; CFI =,99; RMSEA =,037[,034-,041]) Différence de CFI plus petite que.01 21/25

DISCUSSION Proposition d une version abrégée de 24 items présentant de bonnes qualités psychométriques Niveau de consistance interne satisfaisant Structure factorielle à six dimensions corrélées Bonne validité convergente, faible validité divergente, effet méthode modéré et patron de réponses similaire selon les méthodes Invariance de la structure factorielle selon le genre et le temps 22/25

LIMITES Nombre de participants anglophones trop faible pour les analyses La propriété d invaraince du modèle de mesure de Rasch laisse présager que les mêmes items seraient retenus dans une version anglophone (si le FDI est faible) Perte d information par la réduction du nombre d items Problème avec la dimension obstacle externe ( modèle de Rasch et multitrait-multiméthode) 23/25

CONCLUSION Cette recherche a permis de combler un manque en obtenant des preuves de validité pour un questionnaire mesurant l indécision vocationnelle chez les étudiants aux études graduées Ce questionnaire est en ligne directe avec les méthodes les plus récentes pour évaluer l indécision Ce questionnaire pourra permettre de vérifier les liens entre l indécision vocationnelle et la réussite académique et sur le cheminement académique (quitter, retour, réorientation, etc.). 24/25

QUESTIONS? COMMENTAIRES? 25/25