Validité prédictive des questionnaires Cebir. Etude 1 : validité critérielle dans le secteur du gardiennage

Transcription

1 Validité prédictive des questionnaires Cebir Introduction Dans le domaine de la sélection, il est particulièrement intéressant de déterminer la validité prédictive d un test. Malheureusement, les occasions de réaliser ce type d études sont extrêmement limitées. Nous sommes donc ravis d avoir récemment pu effectuer deux études de validité en 2008 et La première concerne le questionnaire de personnalité Bfac (Bfac et Bfac Plus). La seconde concerne la questionnaires de personnalité Bfac (Bfac en Bfac Plus) et Lismo (version courte) ainsi que les tests de raisonnement Abalet, Algo et Symbol B. La première étude porte sur des agents de sécurités engagés par des entreprises de gardiennage. Ce type de fonction est d un niveau «secondaire supérieur». La seconde étude concerne essentiellement des bacheliers et des masters qui travaillent dans le secteur de l informatique. Ces informaticiens travaillent dans une organisation qui les envoie en mission dans différentes entreprises de haut niveau. Etude 1 : validité critérielle dans le secteur du gardiennage Description des données Quatre entreprises actives dans le secteur du gardiennage nous ont fourni trois sortes de données. Tout d abord, l évaluation par leur chef de 355 agents de sécurité. Deuxièmement, les données de 163 travailleurs licenciés. Enfin, les données de candidats qui ont postulés pour des fonctions de gardiennage. Les 355 agents de sécurité ont été évalués par leur chef avec une échelle en cinq points sur quatre caractéristiques : «Respect pour autrui», «Stabilité émotionnelle», «Maîtrise de soi face à des comportements agressifs» et «Sens du devoir et respect des règles». Nous disposions également des raisons pour lesquels les 163 travailleurs licenciés l avait été. Il nous était donc possible de vérifier lesquels l avaient été pour cause de manquements graves dans l exercice de leur fonction. Les données des candidats ont été comparées aux normes de Cebir (toutes les données des personnes qui possèdent un niveau de formation «secondaire supérieur»). Pour toutes ces personnes, nous disposions des scores du Bfac ou du Bfac plus. Etant donné que les items du Bfac sont également présent dans le Bfac plus, les scores du Bfac ont été convertis en score du Bfac plus. 1

2 Méthode de recherche Pour cette étude, nous avons estimé la validité du questionnaire sur base de comparaisons des scores au Bfac plus entre groupes : par exemple, les «travailleurs licenciés» par rapport aux «travailleurs non-licenciés». Nous avons également utilisé cette méthode pour déterminer la validité des scores du Bfac plus par rapport aux évaluations par les chefs. En effet, en analysant les évaluations des chefs, nous avons constaté que les 70 évaluateurs cotaient différemment. Les moyennes des points attribués par ces évaluateurs étaient en effet fort différentes. De plus, chaque agent n avait été évalué que par un évaluateur. C est pourquoi nous n avons pas analysé séparément les résultats de chaque sous-dimension de l évaluation. Nous avons plutôt examiné pour quelle caractéristique les personnes avaient été le mieux évaluées et pour laquelle elles avaient été le moins bien évaluées. Lorsqu une personne obtenait plus de points pour une caractéristique (comme par exemple Stabilité émotionnelle ) que pour les autres, elle était placée dans le groupe «Fort pour cette caractéristique». Inversement, si une personne obtenait moins de points pour une caractéristique que pour les autres, alors elle était placée dans le groupe Faible pour cette caractéristique. Dans le tableau 1 se trouve un exemple d une évaluation d un agent. Son supérieur lui a donné le score le plus élevé pour «respect d autrui», et le score le plus faible pour «respect des règles». Tableau 1 Exemple d un formulaire d évaluation d un agent Très très faible moyen fort faible fort Respect d autrui 5 Stabilité émotionnelle 3 Maîtrise de soi 4 Respect des règles 2 Pour chaque caractéristique de l évaluation, nous avons pu calculer la différence des résultats au Bfac plus entre le groupe «fort pour cette caractéristique» et le groupe «faible pour cette caractéristique». Résultats 1. Les candidats qui postulent pour des fonctions de gardiennage ont des scores plus élevés pour la dimension du Bfac Plus «Stabilité émotionnelle» que les candidats repris dans les normes de Cebir. C est également le cas pour les sous-dimensions «Sûr de soi» et «d Humeur égale». 2. Les agents qui ont été évalués comme étant particulièrement «Stable émotionnellement» par leur chef ont obtenu un score plus élevé pour la dimension du Bfac Plus «Sûr de soi» par rapport aux agents évalués comme peu stables. 3. Les agents qui ont été évalués par leurs chef comme faisant preuve de beaucoup de «Respect pour autrui» obtiennent des scores clairement plus faibles pour la dimension «Critique» et un peu plus élevés pour la dimension «Agréable» du Bfac plus par rapport aux agents évalués comme moins respectueux. 2

3 4. Les collaborateurs licenciés ont un score plus faible pour les dimensions du Bfac plus «Consciencieux» et «désirabilité sociale» en comparaison avec les collaborateurs nonlicenciés et avec les candidats qui ont postulé pour ce type de fonctions. Pour les critères «Maîtrise de soi face à des comportements agressifs» et «Sens du devoir et respect des règles», aucunes différences significatives n ont été trouvées. Etude 2 : validité critérielle dans le secteur informatique Introduction Pour cette étude, la validité prédictive est exprimée à l aide d un coefficient de validité. Celui-ci correspond à la corrélation entre les scores aux tests et un score critériel. Le coefficient de validité est un nombre entre 0 et 1. Plus ce nombre est élevé, plus la validité prédictive est élevée et plus on peut avoir confiance en l utilisation du test en question. La performance au travail dépend de plusieurs facteurs. C est pourquoi les coefficients de validité sont rarement plus élevés que 0,40. Les coefficients de validité varient la plupart du temps entre 0,21 et 0,35. Un coefficient plus bas que 0,11 est considéré comme trop faible pour avoir une signification psychologique. A côté de cette méthode, nous pouvons également évaluer la validité en comparant les scores des travailleurs licenciés avec ceux des travailleurs non-licenciés. Hypothèses pour l étude de corrélation L entreprise dans laquelle s est déroulée cette étude a formulé une série d hypothèses concrètes en concertation avec Cebir. Les responsables des ressources humaines supposaient que les informaticiens qui possédaient une personnalité très extravertie et dynamique seraient plus performants. De plus, la fonction en question contient des activités très variées. Nous nous attendons donc à ce que les informaticiens qui recherchent un travail varié seraient performants. Les hypothèses sont donc les suivantes : Les scores de l échelle «Extraverti» du Bfac plus corrèle avec le critère. Les scores de l échelle «dynamique» du Bfac plus corrèle avec le critère. Le score de l échelle «variation» du Bfac plus corrèle avec le critère. Enfin, nous nous attendons à ce que les scores des tests d intelligence permettent également de prédire la performance au travail. Description des données Nous disposions d un score critériel pour 142 informaticiens qui travaillent dans une entreprise de consultance. Celle-ci a été réalisée sur base d une concertation entre deux membres du département des Ressources Humaines de l entreprise concernée. Le score critériel est constitué d une évaluation des compétences techniques mais également des compétences comportementales des informaticiens. Parmi les 142 informaticiens évalués, 11 ont été licencié en raison de manquements dans l exercice de leur fonction. 3

4 Résultats: les coefficients de validité Le tableau 2 contient les coefficients de validité des différentes échelles (corrigés pour la fidélité du test). En plus des échelles des tests d intelligence et des échelles «Extraverti», «dynamique» et «variation», nous avons ajouté les échelles «dominant», autonomie» et «valeurs individuelles». Les échelles «Variation» et «Autonomie» sont des sous-dimensions de «valeurs individuelles» du Lismo alors que «Dynamique» et «Dominant» sont des sousdimensions de l extraversion du Bfac plus. Tous les coefficients de validité sont significatifs excepté ceux d «Autonomie» et de la mesure principale du «Symbol B». Tableau 2. Coefficients de validité du groupe «Informaticiens» Mesure Coefficient de validité Nombre de collaborateurs Valeurs individuelles_lismo 0, Dynamique_Bfac Plus 0, Extraversion_Bfac Plus 0, Variation_Lismo 0, Dominant_Bfac Plus 0, Algorithmes algébriques_algo 0, Capacités de raisonnement général_ 0, Abalet Autonomie_Lismo 0, Langage codé_symbol B 0, Les mesures valides ont été reprises dans le calcul d une «formule prédictive» de la performance des informaticiens calculée sur base d une régression linéaire. La combinaison des scores ainsi créée corrèle à 0,60 avec le score critériel. L organisation en question peut donc utiliser cette formule pour augmenter l efficacité de sa procédure de sélection. Résultats : les travailleurs licenciés Nous avons comparé les résultats des personnes licenciées et non-licenciées. En moyenne, les informaticiens licenciés ont obtenu des scores plus faibles aux trois tests d intelligence. Pour le test Algo et Symbol B, la différence entre les deux groupes est même plus grande qu un demi écart-type. Bien que ces différences soient grandes, leur significativité reste limitée en raison du petit nombre de travailleurs licenciés. 4

5 Conclusion Les recherches prédictives sont souvent compliquées à réaliser car elles sont parsemées d obstacles méthodologiques. Malgré cela, nous avons trouvé un nombre intéressant de relations entre les résultats des tests et questionnaires de Cebir et des critères de performance au travail. Les obstacles rencontrés les plus importants étaient: le laps de temps entre le moment du testing et celui de l évaluation (parfois huit ans). la conversion du Bfac en Bfac Plus. les différences de jugement entre différents évaluateurs pour l étude «Gardiennage». le fait que les collaborateurs évalués travaillaient au sein de différentes entreprises. Bien entendu, nous restons ouverts à toute proposition de recherche émanant de nos clients. La recherche sur la validité des tests Cebir n a pas de coût supplémentaire pour les clients Tasc. 5