ITAO PAR LES FIRMES DE SONDAGE PRIVÉES

Recueil du Symposium 97 de Statistique Canada Nouvelles orientations pour les enquêtes et les recensements Novembre 1997 LA GESTION DES APPELS ET L UTILISATION DE LOGICIELS ITAO PAR LES FIRMES DE SONDAGE PRIVÉES C. Durand 8 et S. Vachon RÉSUMÉ La recherche présentée trace un bilan des logiciels d interview téléphonique assistée par ordinateur (ITAO) et de leur utilisation actuelle dans les firmes de sondage privées. Trois sources de données sont utilisées: un sondage auprès des firmes de sondage, des observations sur place des opérations et la documentation fournie par les fabricants. Les résultats montrent qu il y aurait lieu d améliorer la capacité des logiciels à gérer la répartition des tentatives de contact en fonction de l historique des appels, de déterminer la priorité dans la file d attente aux numéros non-touchés ainsi que de faciliter le suivi des opérations en implantant des rapports-type appropriés. Enfin, la gestion des opérations pourrait être améliorée en facilitant le pairage des caractéristiques des interviewers et de celles des sous-échantillons de même qu en améliorant la formation formelle en méthodologie de sondage des superviseurs. MOTS CLÉS: ITAO; méthodologie de sondage; gestion des appels. 1. INTRODUCTION Cette recherche s intéresse à un aspect spécifique de la gestion des opérations de sondage, celui de l utilisation des logiciels d interview téléphonique assistée par ordinateur (ITAO) pour faire la gestion de la cueillette de données. La recherche a été volontairement restreinte aux logiciels utilisés par les firmes privées. Elle vise à répondre principalement à deux questions. D une part, les logiciels utilisés par les firmes permettent-ils faire une gestion de terrain appropriée et d autre part, les firmes utilisent-elles les logiciels de façon à opérer une gestion de terrain optimale. Les recherches sur les systèmes ITAO ont surtout porté sur les avantages aux plans de la conception du questionnaire et de la qualité des données. Les textes portant sur ces questions datent de près de 10 ans pour la plupart (Berry et O Rourke 1988; Carpenter 1988; Connett 1990; Saris 1991; Weeks 1988). Dès 1988, il apparaissait que les fonctionnalités minimales de base étaient disponibles pour presque tous les logiciels (Carpenter 1988) et la situation ne peut que s être améliorée depuis. Il n apparaît donc pas nécessaire de refaire les mêmes évaluations relatives à la présence de fonctionnalités. Cette recherche a visé à entreprendre un bilan des logiciels 10 ans plus tard à un niveau plus qualitatif, au plan des évaluations et des utilisations effectives ainsi que des améliorations à apporter. 1.1 Contexte de la recherche Tant Berry et O Rourke (1988) que Weeks (1988) soulignent que la gestion des appels dans les sondages téléphoniques est peu systématisée et relève encore souvent du folklore et de l intuition. Des questions demeurent encore non résolues (Weeks 1988): le meilleur moment pour placer le premier appel, la meilleure méthode pour classer les rendez-vous, les systèmes de priorité d appels, la capacité de prévoir les heures de travail nécessaires pour compléter un sondage de même que des rapports permettant une estimation fiable du taux de réponse actuel et à prévoir. Plusieurs éléments demandant des décisions d ordre méthodologique et de gestion apparaissent dans le déroulement des opérations de cueillette téléphonique assistées par ordinateur. On peut les répartir en deux grandes catégories, les fonctions liées au traitement automatique des appels priorité d appels, protocoles d appel, capacité de pairage des caractéristiques de l échantillon et du personnel et les fonctions liées à la supervision! contrôle des opérations et suivi. 1.2 Méthodologie utilisée Cette recherche a demandé le recours à plusieurs sources d information. En premier lieu, des données ont été recueillies auprès des firmes de sondage oeuvrant dans l ensemble du Canada (voir Durand et coll. 1997) au moyen d entrevues sur place (Québec) et de questionnaires postaux (Reste du Canada). En tout, 29 des 38 firmes sondées avaient des opérations informatisées de sondage par téléphone et 28 directeurs de terrain ont répondu à l ensemble des questions d évaluation du logiciel en mentionnant le logiciel utilisé. En deuxième lieu, pour 1 Claire Durand, dept. de sociologie, Université de Montréal, C.P. 6128, succ. Centre-ville, Montréal, (Québec), H3C 3J7, courrier électronique: durandc@ere.umontreal.ca. 2 Les tableaux détaillés des résultats sont disponibles auprès de C. Durand. Qualité des sondages - Claire Durand 27 mars 2000-67

chacun des logiciels utilisés, les manuels et la documentation fournis par les fabricants ont été étudiés. En troisième lieu, pour chaque logiciel, au minimum une observation sur place a été réalisée, portant sur l utilisation faite par le(s) superviseur(s) au moment de la mise en place. Les logiciels évalués sont Interviewer, Dash, Quantime, Sawtooth Ci3 et Pulse Train. 1.3 Résultats 2 Les évaluations quant à la flexibilité des logiciels sont généralement positives sauf pour un logiciel où les évaluations sont partagées. Lorsque l on aborde la facilité à maîtriser les logiciels, l évaluation est moins positive et les opinions sont partagées pour trois logiciels. Les points forts mentionnés portent surtout sur la fiabilité des logiciels et sur la facilité de programmation alors que les points faibles les plus fréquemment mentionnés sont la lenteur du système, la difficulté de programmation et la difficulté de réaffectation (surtout pour les logiciels sur ordinateur central). Il faut toutefois souligner que les directeurs ne sont pas habituellement les utilisateurs des logiciels de gestion de terrain. Certaines fonctions sont effectuées par des programmeurs (programmation des règles de réaffectation, des questionnaires), d autres presque uniquement par les superviseurs de terrain. 2. LES FONCTIONS LIÉES AU TRAITEMENT AUTOMATIQUE DES APPELS Pour ce qui est des quatre fonctions spécifiques sur lesquelles les directeurs ont été questionnés, les évaluations varient. Elles sont ici mises en relation avec le potentiel réel des logiciels. L affectation des rendez-vous aux interviewers qui les ont pris peut se faire relativement facilement pour les logiciels sur PC, nettement plus difficilement pour les logiciels sur ordinateur central; la perception des directeurs est relativement conforme à la réalité. Pour ce qui est d affecter automatiquement les horaires de contact, les évaluations sont généralement positives et les capacités des logiciels existent si l on comprend par là uniquement la fonction générale de réaffectation automatique selon des règles minimales (délais entre tentatives). Enfin, la réaffectation à des interviewers spécifiques n apparaît pas poser de problèmes au contraire de l affectation de certains échanges téléphoniques ayant des caractéristiques spécifiques, qui apparaît difficile à réaliser pour une bonne partie des directeurs. Cette dernière fonction peut effectivement être difficile à réaliser avec la plupart des logiciels à moins d avoir des informations précises sur les caractéristiques de certains échanges. 2.1 Priorités et files d attente: Les numéros non contactés doivent-ils avoir priorité sur les numéros déjà contactés? Si la priorité est accordée à l échantillon déjà contacté (PR), une partie de l échantillon ne pourra être rejointe une première fois que vers la fin du terrain et aura donc eu une moins grande chance d être interrogée. Cette manière de procéder postule que le fait que les échantillons sont mélangés au départ élimine les possibilités de biais systématiques. Lorsque la priorité est accordée à l échantillon neuf, l échantillon est généralement fermé (nombre pré-défini de numéros de téléphone) et l on vise à ce que chaque numéro ait la même chance d être rejoint. Trois logiciels permettent d accorder la priorité aux numéros non-touchés. Dans deux cas sur trois, l utilisation d une telle possibilité demande l intervention du superviseur, soit dans la file d attente (en changeant la priorité donnée aux banques de résultats), soit par des consignes différenciées aux interviewers. Deux logiciels présument d une priorité aux numéros déjà touchés, difficilement modifiable. Cette pratique apparaît liée à une certaine utilisation de la méthode des quotas où l échantillon de départ est pratiquement illimité, l échantillon non touché en fin de terrain étant considéré comme ne faisant pas partie de l échantillon de départ. 2.2 Les protocoles d appel L échantillon doit être touché à des périodes variées du jour et de la semaine de façon à pouvoir détecter les numéros commerciaux et les résidences secondaires et à s assurer le plus possible de rejoindre les personnes qui sont moins souvent présentes à la maison ou qui travaillent le soir. Weeks (1988) note quatre modes de gestion des appels: le every shift approach (un appel à chaque quart de travail), le scatter approach, approche où on fait varier les moments d appel selon le jour et l heure du jour, le contact probabilities approach, où on détermine le moment du prochain appel en tenant compte de la meilleure probabilité de contact à un moment déterminé et enfin, le priority score approach, où le score qui détermine la priorité dans la file d attente est basé sur des facteurs multiples tels le nombre de tentatives de contact antérieures, le moment de ces tentatives, la probabilité de contact, etc. Jusqu à quel point est-il possible de répartir les appels de façon non seulement informatisée mais automatisée? Les logiciels ne permettent pas aisément de programmer et de vérifier une distribution des tentatives d appel qui tienne compte de l historique des appels. Ils permettent aisément, sinon par défaut, de programmer une approche de type every shift (tentatives de contact en rotation à chaque quart de travail) et de déterminer ce qu est un quart de travail. La plupart des logiciels permettent également, de par la possibilité de programmer des règles cumulatives, de faire varier l intervalle de temps entre les tentatives de contact en fonction du nombre de tentatives. Il apparaît très difficile sinon impossible, avec les logiciels étudiés, de vérifier si tous les numéros ont reçu des tentatives à certaines heures (jour, soir) et à certains moments de la semaine (sur semaine, week-end). L approche de répartition des appels (jour, soir, week-end) Qualité des sondages - Claire Durand 27 mars 2000-68

ou scatter approach est donc en ce moment très difficile à implanter sur la plupart des logiciels étudiés sinon en ayant recours à une programmation complexe. 9 Cette situation amène parfois les firmes à contourner la difficulté, en programmant des demiquarts de travail ou en traitant les numéros nonrejoints comme des rendez-vous. Des approches plus complexes, basées sur la probabilité de contact ou sur des scores de priorité, ne sont pas disponibles. 2.3 Les capacités de pairage des caractéristiques de l échantillon et du personnel Une gestion fine de l échantillon demande de tenir compte d un certain nombre d informations. Les numéros de téléphone sont habituellement distribués au hasard alors qu une gestion optimale des ressources humaines commanderait plutôt que certains échanges ou bottins soient distribués d abord, au début de la cueillette ou à certains groupes d interviewers. Les logiciels permettent-ils de bien gérer, facilement, l ensemble des paramètres de gestion fine liés à la conduite des opérations? Les logiciels permettent d effectuer une gestion par sous-échantillon, mais relativement difficilement. Les fonctionnalités qui y sont liées apparaissent souvent complexes de telle sorte que les utilisateurs préfèrent oublier cette partie en engageant, par exemple, uniquement des interviewers bilingues ou utiliser des moyens détournés faute de connaissance des moyens prévus. Trois des logiciels ne permettent pas que les consignes soient traduites ce qui oblige l interviewer à faire face à un libellé de question dans une langue avec des instructions dans une autre langue. Il serait possible d implanter pour les sondages auprès de la population un module permettant d informer l interviewer de l endroit où il appelle et de la répartition linguistique à cet endroit par l importation de variables système qui devraient alors être associées au fichier d échantillon. Cette possibilité faciliterait par la suite le pairage des caractéristiques des interviewers et de celles des sous-échantillons. La plupart des logiciels permettent de créer des groupes d interviewers en fonction de caractéristiques d intérêt et de faire des affectations qui tiennent compte de ces caractéristiques. Toutefois, probablement dû en partie à la mobilité du personnel d entrevue ou à la difficulté de reprogrammer la composition des groupes, ces fonctions sont peu sinon pas du tout utilisées. 9 9 3 Un logiciel avait été programmé pour qu il y ait un compteur du nombre de tentatives par type de période (jour, soir, week-end) et des règles quant au nombre maximum de tentatives, ce qui permettait à tout le moins de s assurer d une variation dans les moments des tentatives. Un autre avait été programmé de telle sorte que l interviewer indique le moment de la prochaine tentative à partir d un menu suggérant des périodes appropriées. 3. LA SUPERVISION, LE CONTRÔLE ET LE SUIVI DES OPÉRATIONS 3.1 Le contrôle des opérations La conception même des logiciels de gestion d entrevues téléphoniques vise nommément à éliminer la nécessité pour le superviseur d intervenir dans la répartition des numéros de téléphone. Le système idéal est entièrement automatisé et les superviseurs peuvent se concentrer sur l écoute et la validation des entrevues. Il faut se demander jusqu à quel point, dans la pratique, l intervention du superviseur est nécessaire ou fréquente, et jusqu à quel point il est en mesure d effectuer aisément les opérations requises et ce, avec l ensemble de l information nécessaire pour prendre les décisions. L intervention du superviseur dans la file d attente, c està-dire l affectation manuelle de parties d échantillon dont les règles ne prévoient pas l affectation à un moment déterminé, semble être la norme plutôt que l exception. Les superviseurs semblent maîtriser assez bien sinon très bien cet aspect de leur travail et cela, quelque soit la facilité ou la difficulté à effectuer les opérations avec un logiciel donné; cette observation accrédite l idée que l intervention du superviseur dans l affectation des numéros de téléphone est habituelle. Les superviseurs observés pouvaient présenter la très grande majorité sinon toutes les fonctions de supervision du logiciel utilisé en sachant à quoi elles servaient. Ils semblaient très à l aise avec le logiciel, quel qu il soit. Pour certains logiciels très flexibles, il était étonnant de constater la créativité des superviseurs et du personnel de terrain pour forcer le logiciel à faire ce qu ils voulaient par des moyens détournés si nécessaire (utilisation de codes spéciaux pour identifier les anglophones, de fuseaux horaires pour fermer des strates de numéros commerciaux, de codes de rendez-vous spéciaux pour contrôler la répartition des appels). Les superviseurs ont en général une certaine connaissance, généralement assez superficielle, des règles qui président à l affectation des appels dans la file d attente; ils n interviennent toutefois pas habituellement dans cette programmation même lorsqu elle leur est accessible (non protégée contre les modifications). Dans les observations réalisées, un seul superviseur avait la capacité d intervenir dans la programmation et le faisait. Etant donné la volonté avouée des fabricants de logiciels autant que des directeurs de terrain d en arriver à une automatisation complète de la gestion de la cueillette, il est frappant de constater à quel point la plupart des superviseurs interviennent régulièrement dans la gestion automatisée des opérations, soit pour réactiver des numéros classés, classifier et réattribuer les rendez-vous, vérifier le suivi des quotas et en modifier les pondérations, etc. La plupart de ces opérations sont rendues nécessaires par le fait que les règles relatives aux protocoles d appel ne sont pas assez précises ou assez souples ou ne sont carrément pas appropriées au type de Qualité des sondages - Claire Durand 27 mars 2000-69

gestion que les firmes désirent faire. Il faut aussi se demander si les superviseurs ne préfèrent pas intervenir dans la file d attente de façon à garder l impression d un certain contrôle sur les opérations. Si l automatisation presque complète de l attribution des numéros de téléphone demeure un objectif, elle devra permettre aux superviseurs de garder un certain contrôle, même subjectif, sur le déroulement du terrain par une capacité améliorée d être informé du déroulement des opérations. 3.2 La capacité de faire le suivi Une des opérations les plus importantes dans la gestion du terrain est celle du suivi puisqu elle permet d agir et de réagir au déroulement des opérations. C est une fonction d autant plus importante que l enquête se fait auprès d un échantillon dont les caractéristiques taux de validité et d éligibilité de la base de sondage ne sont pas connues. Le suivi de terrain devrait permettre, d une part d estimer le rendement du plan échantillonnal et d autre part, de suivre le rendement du personnel de même que de prévoir le personnel nécessaire. Les rapports donnant l information sur le déroulement du terrain état de l échantillon, des rendez-vous à respecter et du taux de réponse, productivité des interviewers demandent dans la plupart des cas, soit une programmation préliminaire, soit la connaissance d un certain nombre de commandes plus ou moins complexes. L implantation des logiciels, telle qu observée, ne permet pas toujours un accès facile à ce type d information. De fait, plusieurs firmes utilisent une base de données de type Excel ou Lotus, dans lesquelles elles entrent manuellement l information provenant du logiciel ou provenant des statistiques tenues par les interviewers (notées sur papier). Le seul fait que les firmes aient recours à un autre logiciel laisse penser que les logiciels de gestion ne sont pas appropriés sur ce point ou que les superviseurs ou les programmeurs manquent de formation ou d information. 4. CONCLUSION Les logiciels ITAO ont certainement facilité le travail d entrevue et amélioré la conception des questionnaires ou du moins étendu les possibilités sur ce plan. Toutefois, pour ce qui est de la gestion des opérations de cueillette, des faiblesses importantes apparaissent dans l automatisation de la répartition des appels et dans la capacité à suivre le déroulement des opérations. Ceci n est pas surprenant. D une part, avant l informatisation, la gestion de terrain n était pas arrivée à une systématisation des opérations (Weeks 1988; Berry et O Rourke 1988). Les protocoles d appel étaient variables et relevaient de l intuition (Weeks 1988). D autre part, le recours aux quotas est fréquent dans les firmes privées (Durand et coll. 1997). La plupart des logiciels sinon tous semblent permettre une gestion par quota plus facile et raffinée que la gestion des tentatives de contact, nécessaire pour les échantillons avec rappels. La question des rapports et du suivi est plus complexe puisque les logiciels semblent permettre un assez bon suivi et une flexibilité dans la détermination des informations contenues dans les rapports. Le fait qu une partie des firmes ont recours à d autres outils laisse penser que les outils fournis ne sont pas adéquats, qu ils sont jugés trop complexes à utiliser ou encore, que la formation est déficiente. Aucun logiciel ne semble pouvoir aider à la planification des ressources nécessaires aux opérations de cueillette. Enfin la gestion fine, permettant de coupler caractéristiques des interviewers et de l échantillon, est difficile à effectuer. Les logiciels permettraient de faire une meilleure gestion sur ce plan mais les fonctions permettant de le faire sont peu utilisées. Ceci peut être dû en partie à l instabilité du personnel d interview et de leurs horaires mais aussi à une complexité certaine de ce type de couplage. Quelles améliorations apporter? Les améliorations qui apparaissent prioritaires se situent sur deux plans. D une part, implanter des modules qui permettraient de réaliser aisément une répartition des appels de type variation systématique (Scatter approach). De même, les fonctions qui permettraient le pairage des caractéristiques des interviewers et de celles de l échantillon devraient être améliorées. D autre part, il y a lieu d implanter des rapports type qui, par défaut, donneraient un estimé du taux de réponse prévu ou du taux de collaboration, un estimé des rappels à effectuer à certains moments choisis ainsi que des rapports de productivité dont les informations pourraient être transférables aisément sur les logiciels de base de données courants. Les opérations de cueillette des données de sondage téléphoniques sont entre les mains des superviseurs. Ces derniers semblaient bien connaître les objectifs qu ils devaient atteindre et savoir comment les atteindre. Il faut toutefois se demander si les superviseurs ont la formation théorique qui leur permettrait de savoir pourquoi les opérations se font d une manière plutôt qu une autre. La séparation entre professionnels-méthodologues d une part et techniciens d autre part, maintenue sinon renforcée depuis l avènement des logiciels ITAO, constitue sans doute un frein à l amélioration de la gestion des appels. La formation du personnel se fait généralement sur le tas, chaque firme produisant son cahier de référence pour les superviseurs et les interviewers. La formation apparaît parcellaire et fragmentée, chacun ne connaissant que les parties qu il a à utiliser régulièrement. Le temps serait sans doute venu de se doter d outils de formation professionnelle du personnel de terrain. Ceci ne pourrait que profiter tant aux firmes qu à l industrie du sondage en général. Enfin, on ne peut que réitérer que les recherches doivent se poursuivre pour améliorer et systématiser les manières de faire dans la gestion des appels de façon à maximiser le taux de réponse. Qualité des sondages - Claire Durand 27 mars 2000-70

REMERCIEMENTS Cette recherche a été réalisée grace à une subvention du Conseil de recherche en sciences humaines du Canada (CRSHC) que nous tenons à remercier. Nous tenons également à remercier les firmes qui ont apporté leur collaboration particulièrement pour la phase d'observation. BIBLIOGRAPHIE Berry, S.H., et O Rourke, D. (1988). Administrative designs for centralized telephone survey centers: implications of the transition to CATI. (Éds.) R. M. Groves, P. P. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nicholls II, et J. Waksberg, Telephone Survey Methodology, New York: John Wiley, 457-474. Carpenter, E.H. (1988). Software tools for data collection: microcomputer-assisted interviewing. Social Science Computer Review, 6, (3), 353-368. Connett, W.E., Blackgurn, Z., Gebler, N., Greenwell, M., Hansen, S.E., et Price, P. (1990). A report on the evaluation of three CATI systems. Survey Research Center, Institute for Social Research, University of Michigan, 99. Durand, C., Tanguay, I., et Vachon, S. (1997). La gestion de la méthodologie dans les firmes de sondage au Québec et au Canada. 65 ème Congrès de l'acfas, Université du Québec à Trois-Rivières, 16 mai 1997. Nicholls II, W.L. (1988). Computer-assisted telephone interviewing. (Éds.) R. M. Groves, P. P. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nicholls II, et J. Waksberg Telephone Survey Methodology, New York: John Wiley, 377-385. Saris, W.E. (1991). Computer-assisted interviewing. Newbury Park: Sage. Weeks, M.F. (1988). Call scheduling with CATI: current capabilities and methods. (Éds.) R.M. Groves, P.P. Biemer, L. E. Lyberg, J. T. Massey, W.L. Nicholls II, et J. Waksberg, Telephone Survey Methodology, New York: John Wiley, 403-420. Qualité des sondages - Claire Durand 27 mars 2000-71