L'ÉTUDE DE CAS COMME MÉTHODE DE RECHERCHE : COMMENT ASSURER LA VÉRACITÉ DES RÉSULTATS Yves-C. Gagnon, M.Sc.(RI); MBA; Ph. D. Professeur titulaire de la Chaire Bell en technologie et organisation du travail École nationale d'administration publique, Montréal (CANADA) ycgagnon@enap.ca RÉSUMÉ L étude de cas comme méthode de recherche jouit aujourd hui d un préjugé favorable de la communauté scientifique. Compte tenu de cette situation et du fait qu il s agit d une méthode souple, elle peut attirer des moutons noirs qui pourraient y recourir en espérant se dérober à l évaluation directe de la fiabilité et de la validité des résultats qu imposent les méthodes quantitatives. Afin de se prémunir contre cela, une démarche rigoureusement articulée pour réaliser une étude de cas est présentée. De plus, l une des étapes qui la composent, celle cruciale qui vise à en assurer la véracité des résultats, est détaillée. ÉTUDE, CAS, QUALITATIVE, RECHERCHE, MÉTHODE - 1 -
Après plusieurs années à avoir été fortement contestée scientifiquement (Yin, 1981; Scholz, 2001), l étude de cas comme méthode de recherche est, aujourd hui, non seulement devenue scientificly correct, mais on a l impression qu elle jouit d une espèce de préjugé favorable de la part de la communauté scientifique (Agger, 1990; Lehman, 1991; Richardson, 1994). Avec cette popularité croissante, beaucoup de documents ont été publiés sur l étude de cas, mais deux faiblesses ressortent. Premièrement, il n y en a pas qui abordent, de façon globale et concrète, les façons d assurer la fiabilité et la validité des résultats obtenus. Deuxièmement, aucun ne fournit un guide articulé, intégré et complet pour la réalisation d'une étude de cas. Pour combler ces faiblesses, une revue exhaustive de la littérature a été réalisée pour identifier les articles qui présentaient les résultats d études de cas. Ceux-ci devaient répondre aux trois critères suivants : provenir d une revue avec processus d arbitrage, fournir une explication assez détaillée de la démarche de recherche suivie et couvrir différents champs d étude. Les résultats de l analyse en profondeur de cette cinquantaine d articles ont d abord été d identifier et de développer des facteurs à surveiller et des mesures à mettre en place pour assurer et démontrer la fiabilité et la validité des résultats obtenus. Ensuite, à partir de cette trame de fonds visant à garantir la fiabilité et la validité des résultats, une démarche scientifique a été conçue pour encadrer chaque étape de la réalisation d une étude de cas. Elle est présentée dans le graphique ci-dessous. - 2 -
GRAPHIQUE 1 LE DÉMARCHE DE RÉALISATION D UNE ÉTUDE DE CAS Établir la p ertinen ce Prép aration Recru temen t des cas Assurer l a rigueu r des résult at s (fiabilité et validité) Collecte d es donn ées Trait ement d es donn ées Interp rét ation des données Diffusion d es résultat s Pour des raisons de dimension de ce document et comme elle est cruciale, en ce sens qu elle doit présider à la réalisation de toute la démarche, nous nous limitons ici à présenter l étape d assurer la véracité des résultats 1. La valeur d'une recherche scientifique repose en grande partie sur la capacité du chercheur à démontrer la véracité de ses résultats. La fiabilité et la validité en sont les composantes. La première s intéresse à la constance des observations c'est-à-dire que des investigations répétées du même phénomène par d autres chercheurs, en suivant la même démarche de recherche, conduiraient sensiblement aux mêmes conclusions (Kvale, 1987). La deuxième réfère à la justesse et à la conformité à la réalité de ces résultats. La fiabilité n assure pas la validité, mais elle en est une condition nécessaire (Bachelor, 1992; Light et al., 1990). 1 Les lecteurs qui voudront en savoir plus sur cette étape ou sur les autres de la démarche proposée pourront consulter Gagnon, 2005. - 3 -
D entrée de jeu, il faut être conscient qu il est illusoire de poursuivre l objectif d atteindre des résultats complètement fiables et valides. D abord, il est difficile, pour ne pas dire impossible, de faire une démonstration précise et chiffrée en ce sens, comme c est le cas pour une recherche de type quantitatif. Puis, les mesures destinées à augmenter la fiabilité et la validité visent, plus souvent qu autrement, soit à réduire au minimum la subjectivité du chercheur, soit à fournir l information nécessaire pour permettre à ceux qui reçoivent ses résultats de vérifier la démarche suivie pour les obtenir (Guba, 1981). En s inspirant principalement des auteurs LeCompte et Goetz (1982), abordons les facteurs à surveiller et les mesures à mettre en place pour ce faire. La fiabilité La fiabilité se divise en deux parties. La première, interne, assure que d'autres chercheurs arriveraient sensiblement aux mêmes conclusions en traitant et interprétant les données de l'étude. La deuxième, externe, montre qu'un chercheur indépendant, en adoptant la même démarche, obtiendrait pratiquement les mêmes résultats s'il observait le même milieu ou un milieu similaire. Pour ce qui est d accroître la fiabilité interne, il est recommandé de prendre les cinq mesures suivantes. Utiliser des descripteurs concrets et précis Des descripteurs aussi concrets et précis que possible inclut le mot à mot pour ce que les gens ont dit et le narratif pour leurs comportements ou leurs activités. L objectif est de faire un minimum d inférences, c est-à-dire recourir à une source d évidence autre que l observation directe. En effet, pour toute inférence utilisée, il faut se demander si elle est adéquate et si toutes les explications rivales ont été adéquatement écartées (Yin, 2008). - 4 -
Protéger les données brutes Il faut assurer que les données brutes soient toujours disponibles pour que d autres chercheurs puissent vérifier et confirmer la véracité des interprétations qui en ont été faites. Autant que faire se peut, il est préférable de faire appel à des moyens mécaniques d enregistrement des données. Recourir à de multiples chercheurs Sans nier qu un seul, s il contrôle les biais potentiels, peut faire un excellent travail d analyse, il est toujours préférable que plusieurs chercheurs soient impliqués dans la recherche. C est l une des solutions les plus efficaces pour contrer les menaces à la fiabilité interne. En effet, si des analystes indépendants arrivent à s entendre entre eux, on suppose que les résultats ne sont pas biaisés par leurs caractéristiques individuelles (Andrew, 1985; Bachelor, 1992; Cone & Foster, 1982). De plus, cela augmente le potentiel de créativité relativement à l analyse et l interprétation de ces données (Bachelor, 1992; Eisenhardt, 1989; Miles & Huberman, 1994; Taylor & Bogdan, 1984). Dans un tel cas, les évaluateurs travaillent individuellement et comparent leurs conclusions par la suite. Les sources de divergences sont notées et discutées dans un dialogue ouvert qui permet de pousser plus loin l analyse en profondeur de l interprétation des données et met en tension l intersubjectivité des chercheurs susceptible de conduire à l atteinte d une certaine objectivité des résultats (Halling & Leifer, 1991). On parle alors d accord inter-juges qui ne reflète pas nécessairement la précision, c est-à-dire la validité des résultats (Berk, 1979; Carmines & Zeller, 1979). Les évaluations peuvent être hautement fiables, mais toujours non reliées aux construits d intérêt. Dans leur étude sur l aspect politique du processus de prise de décisions stratégiques dans un environnement en haute turbulence, Eisenhardt et Bourgeois (1988) mentionnent explicitement, qu après avoir collecté des données qualitatives et quantitatives, chacun les a analysé indépendamment. Après avoir développé leurs propres hypothèses préliminaires, ils ont échangé les résultats de leur analyse et cherché à identifier par consensus des patrons dans les données. - 5 -
Confirmer les données recueillies Il est nécessaire de recourir à des informants clés pour confirmer ce que l observateur a vu et enregistré. Ceci afin de s'assurer qu'on colle bien à la réalité observée dont la perception n est pas irrémédiablement affectée par les biais du chercheur. Cela peut se faire en cours de collecte, en traitement et interprétation des données. Le point de vue des informants peut aussi être très utile pour arbitrer des différences de perceptions entre des chercheurs multiples. Faire réviser l interprétation des données Il est toujours préférable que l interprétation que le chercheur fait des données soit révisées par les pairs, pour vérifier s ils arriveraient à des conclusions similaires. Plus souvent qu autrement, cela se fait à l étape de diffusion des résultats de la recherche. Pour ce qui est de la fiabilité externe, elle vise à démontrer que des chercheurs indépendants découvriraient le même phénomène ou généreraient les mêmes construits en réalisant la même démarche de recherche dans un même ou similaire site. Il faut en convenir, ce n est pas chose facile quand on pense au caractère assez unique et souvent idiosyncrasique d une étude de cas. Mais on peut grandement améliorer cette fiabilité externe en reconnaissant et gérant cinq menaces majeures. Maîtriser la position du chercheur Il faut toujours identifier jusqu à quel point le chercheur est parti prenante du phénomène qu il étudie et quelle position il occupe précisément. Il doit questionner la délimitation qu il fait des facettes de la réalité qu il observe par rapport aux autres et qui pourraient être identifiées par des chercheurs qui auraient un autre statut. De plus, le rôle et la position du chercheur dans le phénomène qu il étudie doivent être clairement déclarés dans toutes les diffusions des résultats de sa recherche. - 6 -
Décrire le processus de sélection des informants La fiabilité externe requiert un choix pertinent des gens qui seront les informants et une description précise du processus de décision qui a conduit à leur désignation. Il est essentiel de toujours avoir et donner accès à une liste de leurs types et de leurs caractéristiques, car dans l étude de cas une partie souvent importante de la qualité de l information collectée est fonction des informants qui l ont produite. Cette description de la population sous étude et des informants doit toujours faire partie de toutes les diffusions des résultats de la recherche. Identifier les caractéristiques de chaque site d étude Les situations et les conditions sociales dans lesquelles les données ont été collectées doivent être clairement identifiées. Par exemple, dans son étude sur l éducation dans un arrondissement ethnique d une grande ville, Ogbu (1974) a soigneusement distingué que les informations transmises par les parents dans le contexte de l école n étaient pas les mêmes que celles fournies dans celui de leur résidence. C est la même chose pour les données recueillies auprès d un participant quand il est seul avec le chercheur ou quand il est en groupe. On doit prendre en compte, identifier et spécifier le contexte physique, social et interpersonnel dans lequel les données ont été collectées. Voilà des éléments essentiels pour rendre possible une réplication de l étude. Il faut aussi faire ressortir, le plus clairement possible, le contexte particulier de chaque site d'étude. Ceci afin de permettre une meilleure compréhension de l'interprétation des données qui est faite et surtout de fournir à quelqu'un qui voudrait répliquer la recherche d'avoir des points de comparaison. Définir les concepts, construits et unités d analyse de l étude Les prémisses de la recherche doivent être clairement circonscrites. La réplication d une étude est quasi impossible si les concepts, construits ou unités d analyses sont idiosyncrasiques, mal délimités ou pire encore, ne sont tout simplement pas connus. En effet, à moins que des catégories soient définies soigneusement et leur antécédent théorique bien souligné, le danger de l idiosyncrasie et l absence de comparabilité augmentent beaucoup. - 7 -
Présenter la stratégie de collecte des données En fait, le chercheur doit expliquer sa démarche de façon à ce que les autres chercheurs puissent aisément utiliser le contenu de la diffusion des résultats comme manuel opérationnel pour répliquer l étude. Cette dernière étant impossible sans une identification et description précise de la stratégie utilisée pour la collecte de données. La validité La validité peut être jugée par la production d une interprétation des données raisonnablement documentée et logiquement cohérente au niveau du bon sens, de telle sorte qu un consensus général puisse être atteint parmi les autres chercheurs (Kvale, 1987). La validité se divise elle aussi en deux parties. La première, interne, montre que le chercheur observe ou mesure bien ce qu il veut et prétend observer et mesurer; que les descriptions et les explications du phénomène sous étude sont bien des représentations authentiques de la réalité observée. La deuxième, externe, s intéresse au degré auquel l identification et la description du phénomène sous étude sont légitimes, et peuvent être comparées. Il s agit de savoir jusqu à quel point les construits et les postulats générés, raffinés et testés sont applicables à d autres cas, c est-à-dire généralisables. La validité interne est sans doute la plus grande force de l étude de cas. Le fait d observer sur le site parmi les informants et de collecter les données sur une longue période offre l opportunité de continuellement analyser et comparer les données pour raffiner les construits et s assurer qu ils correspondent bien à la réalité. Ceci étant dit, quatre activités peuvent renforcer ce type de validité. Contrôler les effets de la présence de l observateur Il est tout à fait possible, et même probable, que l intervention de l observateur ait un impact sur la nature des données collectées (Schwartz & Schwartz, 1955). Ce que l'observateur voit et rapporte est fonction de la position qu'il occupe dans le milieu sous étude. Il est donc important qu il se prémunisse contre son ethnocentrisme et ses biais perceptuels. - 8 -
Pour ce faire, il est fondamental que le chercheur présente toujours une analyse rétrospective explicite de sa position comme observateur dans le champ d études et des relations qu il a établies avec les informants. Ces dernières devraient être le plus désengagées. Il faut aussi qu il utilise plusieurs sources pour collecter ses données. Il est ainsi possible de faire des tests de concordance sur l'information collectée (Benbasat & al., 1983; Dezin, 1978; McMillan & Schumacher, 1984). Faire une sélection représentative des échantillons Lorsque le nombre de participants ou d informants potentiels est trop grand ou encore que la scène sociale d observation est à ce point complexe que l observation continuelle de tous les événements, activités ou sites n est pas possible, il devient alors incontournable de collecter les données sur un échantillon. Dès lors, il est très important de prévenir une distorsion dans ces données, leur traitement ou leur interprétation qui serait attribuable à la sélection des échantillons. Une défaillance à faire un bon inventaire des sous-groupes, factions, événements ou scènes sociales du champ d étude peut conduire à des résultats qui représentent une partie seulement du phénomène, des participants ou des circonstances. Il est primordial d établir les caractéristiques et particularités des informants, des participants et des scènes sociales et de collecter des données de tous les types. Le chercheur doit essayer d avoir des contacts et des relations avec le plus d informants diversifiés possibles et d observer le plus de scènes sociales de différentes natures. Il faut s assurer, même s il s agit d un échantillon théorique, qu il représente adéquatement la population des informants et des participants de même que des activités, des événements et des sites propres au phénomène. Élaborer une chaîne de sens et une charte de signification des données Le chercheur doit gérer les effets des changements qui peuvent survenir chez les participants. Il va sans dire, que l ajout, le départ ou la mortalité de participants peuvent avoir un effet sur l observation d un phénomène. Il faut voir à ce que la collecte de données ne soit pas influencée par de tels changements. C est là que la chaîne de sens et la charte des - 9 -
significations des données prennent toute leur importance afin que le chercheur puisse être justifié de comparer les activités et les événements entre eux, même s ils se sont produits à des temps et avec des participants différents. Identifier et écarter les explications rivales La stratégie de base pour tester l interprétation est d identifier et d écarter les explications rivales de celles auxquelles arrive le chercheur et de rechercher des cas négatifs qui pourraient invalider ses conclusions (Kvale, 1987; Miles & Huberman, 1994, Patton, 1980). Dans leur étude sur l aspect politique du processus de prise de décisions stratégiques dans un environnement en haute turbulence, Eisenhardt et Bourgeois (1988) mentionnent explicitement qu après un va-et-vient entre les données et les propositions, ils ont pris chaque paire de firmes étudiées en énumérant les similarités et les différences. Puis, ils ont utilisé la littérature pour raffiner leurs intuitions et tester des propositions alternatives. En ce qui concerne la validité externe qui touche la généralisation des résultats, c est sans doute la plus grande faiblesse de l étude de cas. Cependant, il ne faut pas trop s en faire en pensant à l argument de Cronbach (1975) : «all generalizations decay like radioctive substances, having half-lives, so that after a time everay generalization is more history than science.». Mais, la vigilance s impose pour développer des résultats qui peuvent au moins être comparés et contrastés avec d autres cas. On parle donc pour ce type de validité des facteurs qui menacent la comparabilité et le transfert des résultats. Dans ce sens, l accroissement du nombre de cas étudiés contribue de facto à augmenter la validité externe des résultats produits. Mais regardons plus en détail quatre autres activités qui vont dans le même sens. Contrôler l effet de la particularité des sites d étude Un construit ne peut être comparé inter cas s il est spécifique à un groupe unique ou si le chercheur a choisi par erreur un groupe pour lequel le construit ne s applique pas. En effet, les construits générés dans un contexte peuvent ne pas être comparables parce qu ils ressortent du contexte sous investigation plutôt que du contexte seulement. Il est donc - 10 -
important de voir à ce que le contexte choisi pour étude ne présente pas des particularités telles que les résultats seront automatiquement idiosyncrasiques. Éviter le choix d un site sursaturé d études Le chercheur doit choisir un site qui n est pas saturé par des observations et des études répétées, quels qu en soient la nature et l objectif. On peut assumer que les groupes et les cultures qui font l objet d études fréquentes sont différents des autres groupes. C est particulièrement vrai pour les phénomènes nouveaux et à la mode, qui attirent l attention des chercheurs de toutes sortes de disciplines. Par exemple, en ce qui touche le décrochage scolaire, une école qui aura mis en place un programme qui obtient un succès fulgurant sur ce plan, sera très sollicitée pour être étudiée. Choisir des cas reproductibles dans le temps La comparaison devient impossible par le fait que le phénomène étudié ne se reproduira plus tel quel dans l histoire. Il convient aussi de garder un historique des données recueillies avec leur signification à chaque temps de l'étude. Également, diverses stratégies de collecte des données doivent être utilisées pour effectuer des comparaisons constantes entre ces données. Il s'agit de s'assurer que le phénomène regardé en début de processus est le même que celui observé subséquemment. En conclusion, voilà l ensemble des facteurs auxquels il faut apporter une attention particulière pour que les résultats de l étude de cas soient dignes de confiance et leur véracité telle qu ils puissent être intégrer au corpus des connaissances. Plus encore, il s agit là d une grille qui devrait servir pour évaluer la qualité des résultats d études de cas réalisées par d autres chercheurs. - 11 -
Bibliographie Agger, B. (1990). The Decline of Discours: Reading, writing and resistance in postmodern capitalism. Bristol (PA), Falmer. Andrew, W. (1985). «The Phenomenological Fondations for Empirical Methodology II: The Method of Optional Variations». Journal of Phenomenological Psychology, 16, 1-29. Bachelor, A. (1992). «On the Use of Judges in Phenomenological Empirical Research». Methods, 1-25. Benbasat, I. Goldstein D.K. Mead, M. (1983). «The Case Research Strategy in Studies of Information Systems». MIS Quarterly, 11(3), 369-386. Berk, R. (1979). «Generalizability of Behavioral Observations: A Clarification of Interobserver Agreement and Interobserver Reliaibility». American Journal of Mental Deficiency, 83, 460-472. Carmines, F. Zeller, R. (1979). Reliability and Validity Assessment. Thousand Oaks(Ca), Sage. Cone, J.O. Foster, S.L. (1982). «Direct Observation in Clinical Psychology». in P. Kendall and J. Butcher (éd.), Handbook of Research Methods in Clinical Psychology, New York, Wiley, 311-353. Cronbach, L.J. (1975). «Beyond the two Disciplines of Scientific Psychology». American Psychologist, 30, 116-127. Dezin, N. (1978). The Research Act: A Theoretical Introduction to Sociological Methods (2 e ed.). New York, McGraw-Hill. Eisenhardt, K.M. (1989). «Building Theories from Case Study Research». Academy of Management Review, 14(4), 532-550. Eisenhardt, K.M. Bourgeois III, L.J. (1988). «Politics of Strategic Decision Making in High- Velocity Environments: Toward a Midrange Theory». Academy of Management Journal, 31(4), 737-770. Gagnon, Y.C. (2005). L'étude de cas comme méthode de recherche : guide de realization. Québec, Les presses de l'université du Québec. Guba, E.G. (1981). «Criteria for Assessing the Trustworthiness of Naturalistic Inquiries». Educational Communication and Technology Journal, 29(2), 75-91. Halling, S. Leifer, M. (1991). «The Theory and Practice of Dialogal Research». Journal of Phenomenological Psychology, 22, 1-15. Kvale, S. (1987). Methods, 2, 1-37. - 12 -
Lecompte, M.D. Goetz, J.P. (1982). «Problems of Reliability and Validity in Ethnographic». Review of Educational Research, 52(1), 31-60. Lehman, D. (1991). Signs of the times: Deconstruction and the fall of Paul de Man. New York, Poseidon. Light, R.J. Singer J.D. Willett, J.B. (1990). By Design: Planning Research on Higher Education. Cambridge, Harvard University Press. Macmillan, J. Schumacker, S. (1984). «Ethnographic Research». in J. MacMillan and S. Schumacker (ed.), Research in Education: A Conceptual Introduction, Boston (MA), Little Brown, 305-333. Miles, M.B. Huberman, A.M. (1994). Qualitative Data Analysis: an Expanded Sourcebook (2 e éd.). London, Sage Publications. Ogbu, J.U. (1974). The Next Generation: An Ethnography of Education in an Urban Neighborhood. New York, Academic Press. Patton, M.C. (1980). Qualitative Evaluation Methods. London, Sage. Richardson, L. (1994). «Writing: A Method of Inquiry». in N.K. Denzin and Y.S. Lincoln (ed.), Handbook of Qualitative Research. Thousand Oaks (CA), Sage, 516-529. Scholz, R. Tictje, O. (2001). Embedded Case Study Methods: Integrating Quantitative and Qualitative Knowledge. Thousand Oaks (CA), Sage Publications Schwartz, M.S. Schwartz, C.G. (1955). «Problems in Participant Observation». American Journal of Sociology, 60, 343-354. Taylor, S.J. Bogdan, R. (1984). Introduction to Qualitative Research Methods (2 e éd.). New York, Wiley. Yin, R.K. (2008). Case Study Research, Design and Methods (4 e ed.). Thousand Oaks (Ca), Sage. Yin, R.K. (1981). «The Case Study Crisis: Some Answers». Administrative Science Quarterly, 26(1), 58-65. - 13 -