Synthèse. Quatre sujets ont été présentés au cours de l atelier «Méthodes d observation» :

Transcription

1 Synthèse Quatre sujets ont été présentés au cours de l atelier «Méthodes d observation» : 1. Les études d acceptabilité : exemple du tableau blanc interactif (TBI) par Philippe WOLF. 2. Etwinning, une enquête en ligne, d impact de l opération sur les usages par Thierry Serva. 3. Méthodes empiriques sur les ENT par Christiane Millet et Christophe Hilairet. 4. Les approches d usages à partir de l ouvrage «TICE : l usage en travaux» par Gérard Puimatto. État des lieux Les présentations ont donné lieu à l exposé de trois méthodes différentes : - La méthode CAUTIC - Une enquête en ligne traitée à l aide du logiciel WysuForms Survey Manager - Un processus empirique d observation associé au développement et au déploiement de la plate-forme «Portées» La méthode CAUTIC (Conception Assistée par l Usage pour les Technologies, l Innovation et le Changement) a fait l objet de deux sessions de formation au CNDP, au cours de l année Cette formation, initiée par l Agence des usages, avait pour but de doter le réseau d'éléments théoriques (sociologie des usages) et d'outils méthodologiques scientifiques communs. Elle a permis de créer plusieurs groupes de travail correspondant aux besoins locaux en matière d'observation des usages des TICE. Ce sont les résultats de l enquête d un de ses groupes qui ont été présentés par P. Wolf. La méthode CAUTIC est fondée sur des références en sociologie, prenant en compte des profils d utilisateurs face au changement, et reposant sur une planche de critères bien précis. C est une méthode qualitative, elle est utilisée principalement en marketing pour déterminer en amont le niveau d acceptabilité social d une innovation technique, en mesurant en quoi cette innovation a un de sens pour l utilisateur. D autres méthodes existent, comme le «focus group» (cas de l étude menée sur le TBI pour l ouvrage de l ORME), l observation par les corps d inspection 1

2 L enquête en ligne, initiée pour etwinning, avait pour but de recueillir quelques paramètres relatifs au service : profil des utilisateurs, réception du dispositif etwinning, perception du portail européen, Cette enquête a concerné 2685 personnes inscrites au dispositif, contactées nominativement par courriel. Les quelques 800 réponses aux 46 questions posées ont été traitées avec le logiciel WysuForms Survey Manager, un outil maintenant à la disposition de tout le réseau SCÉRÉN. Les résultats statistiques obtenus peuvent être interprétés aussi bien du point de vue qualitatif que quantitatif. Le CRDP de Poitou-Charentes, quant à lui, développe un ENT et le déploie expérimentalement. Une observation empirique a été menée afin : - de diffuser et valoriser les «bonnes pratiques», - d obtenir un feed-back pour faire évoluer le produit, - de mieux accompagner les utilisateurs. Pour cela, l équipe associée au projet s est rapprochée d universitaires, a observé dans les établissements pour y recueillir des statistiques (observation des flux de communications) et des témoignages de différents acteurs (personnel administratif, enseignants, ) La méthode d observation employée est ici très liée à l accompagnement et au développement du produit. Elle a progressivement évolué au cours du processus. Au cours du quatrième atelier, il a été rappelé que le réseau est de plus en plus sollicité par des marchés publics et qu il est donc important de se doter de méthodes, de se professionnaliser dans le domaine de l observation. Néanmoins, il est très important en amont d être collectivement au clair sur les concepts sous-jacents (usages, pratiques, technologies de l information, généralisation, transférabilité, ) avant de se doter de méthodes. 2

3 Opportunités Une méthode purement qualitative telle que CAUTIC est intéressante au niveau coût : elle permet de recueillir des résultats «à peu près fiables» à partir d un panel relativement réduit (10 personnes environ, réparties selon leur profil par rapport au changement) De plus, le fait de s appuyer sur une référence scientifique permet d étayer les conclusions. En revanche, il ne s agit pas d observation d usages et la typologie des comportements adoptée ne rend pas compte des phénomènes sociologiques liés aux marginaux sécants. Pour le traitement d une enquête à partir d un échantillon plus important, la prise en main de WysuForms Survey Manager s avère relativement aisée, l analyse des réponses et les documents générés par le logiciel ont été appréciés. Enfin, cet outil est désormais accessible à tout le réseau SCÉRÉN (pour plus de renseignements, contacter Gilles LASPLACETTES). Ce type d enquêtes quantitatives pose la question de la focalisation sur l objet d analyse et/ou le contexte d usage. Il est notamment difficile de dissocier ces éléments du dispositif d accompagnement dans lequel ils sont utilisés. D une façon générale, il apparaît important qu une méthode d observation s appuie sur les connaissances des universitaires, concerner tous les acteurs (personnels d encadrement, enseignants, parents, élèves), évoluer selon les contextes. Enfin il convient de prendre aussi en considération les jeux d acteurs, définis dans la théorie des acteurs-réseaux développée par B.Latour et M.Callon. Il apparaît essentiel de croiser diverses méthodes d observation, qualitatives ante pour étude ergonomique et acceptabilité observation d usage proprement dite observation de la construction de l usage quantitatives par enquête evaluative (impacts) veille stratégique Dans tous les cas, la méthode et les outils ne peuvent être mis en œuvre que sur la base de représentations et compréhensions suffisantes des concepts. 3

4 Freins, obstacles : Concernant la méthode CAUTIC, il apparaît que : - Les conditions d acceptabilité d une innovation sont à distinguer du positionnement des individus face au changement. - La façon dont est présentée l innovation aux personnes interrogées conditionne de façon importante la teneur de leurs réponses et donc les résultats de l étude. - L acceptabilité est un concept de marketing, qui doit être étudié en amont. - Cette méthode ne prend pas en compte des indicateurs importants de l appropriation : le détournement d usage (Perriault), l alliage sociotechnique (Flichy), l alignement (Latour) - Elle ne tient pas compte des jeux d acteurs, et particulièrement du rôle important d intermédiaire et d interprète des «marginaux sécants». Le traitement d une enquête à l aide du logiciel WysuForms Survey Manager montre quelques difficultés techniques, notamment au niveau du dépouillement des questions ouvertes. Mais surtout, ce genre d enquête ne donne des réponses que sur le matériel, le support, les outils utilisés, les logiciels disponibles. On n y trouvera pas le signe, le signal à débusquer, mais plutôt une réponse à un questionnement, la confirmation ou l infirmation d une hypothèse. Enfin, il est important de s appuyer sur des avis d experts et des observations de terrain pour établir le questionnaire. L observation menée par l équipe du CRDP de Poitou-Charentes en accompagnement du développement et du déploiement d un ENT, a souffert de l absence d un protocole scientifique. C est une approche «artisanale» de l acteur / observateur / accompagnateur. Au cours de cette démarche, il s est avéré difficile de toucher les parents et le personnel administratif. 4

5 Perspectives : Le réseau a besoin de se positionner comme expert dans divers domaines : assistance à la maîtrise d ouvrage, maîtrise d œuvre, gestion de projet, conseil, mission d exploration, analyse de besoin, rédaction de cahiers des charges, assistance à la maîtrise d ouvrage, maîtrise d œuvre, observation, évaluation Le réseau est sollicité DANS LE CADRE DE MARCHES PUBLICS. Il doit se professionnaliser en termes de gestion de projet certes, mais il doit aussi se distinguer de ses partenaires par son expertise reconnue dans le domaine éducatif. Il serait souhaitable d intégrer une dimension Recherche & Développement (R&D) dans les CRDP, afin d apporter aux collectivités une dimension de souplesse prospective que ne leur permet pas l achat public, sans pour autant oublier le conseil au quotidien (médiathèques, services en ligne...) qui relève davantage de l accompagnement. /* remarque : ce qui distingue l expertise de l accompagnement, ce n est pas le conseil, c est l interlocuteur. S il y a accompagnement, c est auprès des acteurs des communautés éducatives ; s il y a expertise, c est dans un cadre professionnel, auprès des collectivités. */ Il est en effet important de rester attentif aux demandes des collègues sur le terrain : détection informelle des signes (débusquer les signaux). Débusquer les signaux dans le cadre de l accompagnement, Puis Formuler des hypothèses et les confirmer dans le domaine de l expertise Enfin, en matière d observation, il est primordial de se doter de capacités reconnues d expertise, appuyées sur plusieurs méthodes complémentaires, d en connaître les limites et les concepts sousjacents. L organisation de l expertise pourrait être abordée à l échelle du Scérén. Les pôles d expertise doivent se constituer au niveau académique, avec mise en réseau entre CRDP. Cela pourrait s appuyer sur un annuaire des compétences en expertise, appuyé sur une démarche collective : Culture commune sur les approches et les concepts 5

6 Partage de méthodes et outils Partage de méthodologies de conseil, pilotage, etc. Note L expertise peut apparaître dans l épure LOLF des CDDP, dans les destinations En D2, on retrouve deux sous destinations, avec D21 accompagnement et D22 expertise On retrouve aussi deux approches différentes, le D21 relevant davantage de la proximité du CDDP, alors que le D22 relève d une approche au mois académique Enfin, sur le plan économique, si l AP relève de nos missions «régaliennes» (quel vilain mot pour les républicains que nous sommes, l expertise relève d une approche concurrentielle à rapprocher de l édition. Comme en édition, nous devons travailler à «coûts complets» pour ne pas être taxés de concurrence déloyale ; c est une condition pour répondre aux marchés (les subventions reçues ne doivent en aucun cas modifier les conditions de la réponse). C est pour cela que les prestations de ce type (Correlyce, conseil aux collectivités, etc.) sont facturées 350 la journée. 6