Rapport. Analyse scientifique du basic-check

Transcription

1 Rapport Analyse scientifique du basic-check Suisse romande Mars 2009

2 Donneur d ordre Urs Martini, CEO basic-check sa Tellistrasse Aarau info@basic-check.ch Auteur Dr. Daniel Jungo Conseiller diplômé OFFT en orientation et carrière Regensdorferstrasse Zürich dj@danieljungo.ch Responsable Suisse romande Alice Gubler Case postale Montreux 1 info-fr@basic-check.ch Impression: FF Druck AG, 5070 Frick

3 Sommaire 1. Critères de qualité 4 Objectivité Fiabilité Validité Normalisation 2. Données du groupe de personnes analysé 5 3. Données scientifiques des thèmes évalués 5 4. Exemples de résultats Interprétation personnelle «standard» 6 Interprétation personnelle «pratique» 7 5. Moyennes suisses des groupes de questions 8 6. Echelles et répartition des résultats 8 7. Comparaison sujets masculins/féminins 9 basic-check sa 1820 Montreux 1 info-fr@basic-check.ch

4 1. Critères de qualité Comment peut-on contrôler la qualité du basic-check? La qualité d un instrument comme le basic-check doit être contrôlée avec les critères scientifiques usuels. Ces critères sont: 1. Objectivité : signifie le niveau d indépendance des résultats par rapport à l examinateur. 2. Fiabilité : signifie la précision ou l exactitude de l instrument. 3. Validité : signifie que l instrument mesure effectivement ce qu il doit mesurer. 4. Normalisation : signifie une comparaison avec un autre groupe de référence. Quels sont les résultats du basic-check par rapport à ces critères de qualité? Objectivité Le «basic-check» remplit les exigences d objectivité tant au niveau de l examen lui-même, de la correction de celui-ci, que de la transmission des résultats. En effet, toute l épreuve est standardisée et automatisée par informatique. L objectivité de l interprétation des résultats et des profils est facilitée par les informations se trouvant sur Fiabilité Dans la littérature spécialisée, il est exigé qu un instrument de mesure d aptitudes comme le «basic-check» juge de façon exacte, ce qui signifie un coefficient de fiabilité d au moins 0.70 et si possible de 0.80 et plus. Cette valeur ne devrait pas être inférieure, le cas échéant, les dimensions mesurées par l instrument sont considérées comme non-fiables. Ici, nous avons obtenu des valeurs «bonnes» à «très bonnes», avec un minimum de 0.76 et jusqu à 0.90 au maximum. Celles-ci ont été obtenues à l aide du calcul de l indice alpha de Cronbach. Validité Il faut démontrer lors des contrôles de la validité que les résultats sont en corrélation avec d autres s, comme par exemple les résultats scolaires. C est encore plus optimal lorsque les résultats ont une validité prédictive, c est-à-dire que le «basic-check» peut pronostiquer les s à l école professionnelle. Cette validité pronostique a pu être démontrée parmi quatre thèmes du «basic-check», car dans une étude de Gansner-Koivo et Gross (2006) avec 453 apprenti(e)s, on a observé des corrélations entre les résulats du «basiccheck» et les notes obtenues à l école professionnelle. Les valeurs autour de 30, peuvent être considérées comme «moyennes», c est pourquoi elles peuvent être qualifiées comme «bonnes» ici. Pour trois des cinq thèmes, les différences entre les sexes sont statistiquement significatives et correspondent aux attentes. Normalisation La documentation spécialisée exige la mise à disposition des résultats d au minimum 300 personnes. Les données ci-après sont basées sur un échantillon de 832 personnes, ce qui est considéré comme «excellent». Ce rapport a été élaboré sur la base du basic-check «standard» entre le et le et comporte une nette dominance de sujets masculins. En effet, le basic-check «pratique» a été introduit en Suisse romande en automne 2008, c est pourquoi nous ne disposons pas encore d un assez grand nombre de résultats pour effectuer des calculs scientifiques. La répartition des résultats correspond aux attentes d une répartition selon la courbe de Gauss. 4 basic-check sa 1820 Montreux 1 info-fr@basic-check.ch

5 2. Données du groupe de personnes analysé Critère Caractéristique Nombre Proportion Sexe masculin % féminin % Total % 3. Données scientifiques des thèmes évalués Thème N a Md x sd n P20 P40 P60 P80 1. Exercices à contenu linguistique Exercices à contenu bi- et tri-dimensionnel Exercices à contenu de chiffres Allemand Anglais Légende: N = Nombre de personnes évaluées a = Cohérence interne (Cronbach) Md = Point médian x = Valeur moyenne sd = écart type n = Nombre de questions P = Echelles Anglais: P20 = 11, 0 10 = niveau 1 = de base, = niveau 2 = de base à moyenne, = niveau 3, moyenne, = niveau 4 = bonne, = niveau 5 = très bonne. basic-check sa 1820 Montreux 1 info-fr@basic-check.ch 5

6 4. Exemple de résultat du basic-check «standard» Level 1 0 à 10 = de base P20 = 11 P40 = 14 P60 = 17 P80 = 21 Level 2 11 à 13 = de base à moyenne Level 3 14 à 16 = moyenne Level 4 17 à 20 = bonne Level 5 21 à 32 = très bonne 6 basic-check sa 1820 Montreux 1 info-fr@basic-check.ch

7 Exemple de résultat du basic-check «pratique» Level 1 0 à 20 = de base Level 2 21 à 27 = de base à moyenne Level 3 28 à 37 = très bonne basic-check sa 1820 Montreux 1 info-fr@basic-check.ch 7

8 5. Moyennes suisses des groupes de questions 6. Echelles et répartition des résultats 1. Exercices à contenu linguistique Compléter des phrases 7.6 Compréhension de texte 9.5 Termes 8.6 Signification de mots 6.5 Valeur moyenne = écart type = N = Exercices à contenu bi- et tri-dimensionnel Séries de figures 12.8 Imagination 12.0 Reconnaissance de figures 9.2 Représentation spatiale 6.4 Valeur moyenne = écart type = N = Exercices à contenu de chiffres Algèbre 10.6 Calculs pratiques 11.2 Compréhension de chiffres 15.8 Calculs géométriques 10.1 Constructions géométriques 6.8 Concepts géométriques 8.8 Valeur moyenne = écart type = N = basic-check sa 1820 Montreux 1 info-fr@basic-check.ch

9 4. Allemand Allemand Anglais Anglais 15.7 Valeur moyenne = écart type = N = 816 Valeur moyenne = écart type = N = Comparaison sujets masculins/féminins Thème Sexe N x sd Erreur standard Exercices à contenu linguistique Exercices à contenu bi- et tri-dimensionnel Exercices à contenu de chiffres Allemand Anglais féminin masculin féminin masculin féminin masculin féminin masculin féminin masculin basic-check sa 1820 Montreux 1 info-fr@basic-check.ch 9