Les enquêtes auprès des usagers : mieux connaître les usages et les pratiques, mesurer la satisfaction et les attentes

Transcription

1 Bib data, Smart Culture Les enquêtes auprès des usagers : mieux connaître les usages et les pratiques, mesurer la satisfaction et les attentes Un exemple de programme d évaluation régulière à la bibliothèque de Sciences Po Janvier 2015 ~ Cécile Touitou, Responsable Mission Marketing, Bibliothèque Sciences Po Paris

2 Plan de la présentation Des données pour quoi faire? Quelles données, quelles traces? Rappel sur les indicateurs Les données brutes (flux, entrées/sorties); taux d occupation ; les données du SIGB ; l usage des RE Les enquêtes L enquête Libqual + Les entretiens L observation L observation «ethnographique» Finalement, pour quoi faire? Cartographier les usages / Segmenter les publics Janv. 2015, Cécile Touitou

3 Des données pour quoi faire? Orientation Marketing : Développer une connaissance fine des attentes et des usages, les évaluer pour en faire la base d une stratégie de développement de «user-oriented» Les usagers laissent des traces (éventuellement numériques) qu il convient de collecter et de traiter. la la bibliothèque bibliothèque Evaluer les usages Janv. 2015, Cécile Touitou

4 Des données pour quoi faire? La norme ISO 2789 Statistiques internationales des bibliothèques rappelle les objectifs assignés aux statistiques des bibliothèques : - comparer les résultats aux normes en la matière et aux données d établissements similaires; - évaluer les tendances dans le temps, ainsi que les résultats des innovations; - fonder la programmation, la prise de décision, l amélioration de la qualité du service et fournir un retour d information sur les résultats ; - démontrer la valeur des services rendus aux usagers par la bibliothèque, ainsi que la valeur potentielle pour les usagers des générations futures ; - fournir des informations aux institutions nationales ou régionales pour qu elles exercent leur rôle de soutien, de financement et de tutelle» Janv. 2015, Cécile Touitou

5 Quelles données? Quelles traces? Janv. 2015, Cécile Touitou

6 Les réservoirs de données, les traces Entrées Sorties Flux Comptage du nombre de lecteurs (taux d occupation) SIGB Lecteurs Prêts / Retours Catalogue Rotation des ouvrages Usage des RE EzPaarse (analyse des logs en fonction des profils LDAP) Observations De l usage des collections De l accueil Des pratiques Questionnaires / Enquêtes Internes ou externes Janv. 2015, Cécile Touitou

7 Rappel sur les indicateurs La norme ISO (2008 : 9) sur les indicateurs de performance des bibliothèques définit les qualités que doit posséder un indicateur pour être utilisé de manière correcte ; Contenu informatif : un indicateur doit servir à quelque chose, il doit répondre à un objectif et fournir une aide à la prise de décision. Fiabilité : un indicateur doit toujours mesurer la même chose lorsqu il est utilisé à plusieurs reprises, la mesure doit rester la même d une fois à l autre. Validité : un indicateur doit mesurer ce qu il est censé mesurer Applicabilité : les efforts à déployer pour mesurer un indicateur doivent être raisonnables. Ainsi les données nécessaires à son calcul seront récoltées sans occasionner une trop grande surcharge de travail. Comparabilité : dans le cas où l indicateur est destiné à la comparaison entre plusieurs bibliothèques (ce qui est le cas ici), il convient également de s assurer que l indicateur permette d obtenir le même résultat pour des niveaux de services égaux. ISO 11620:2008(fr) Information et documentation Indicateurs de performance des bibliothèques

8 Les données brutes

9 Entrées Sorties Flux Compteur d entrées & de sorties L intérêt est de visualiser les variations dans les temps, les évolutions et de les ANTICIPER Outil d aide à la gestion des plannings; Outil d aide à l organisation du travail Janv. 2015, Cécile Touitou

10 Comptage du nombre de lecteurs (taux d occupation) On compte périodiquement les personnes présentes en salles et on les rapporte au nombre de places assises Outil d aide à la gestion des plannings; Outil d aide à l organisation du travail Mesure de la satisfaction Evaluer la capacité de à amener les usagers à recourir à tous ses services. Evaluer les usages

11 SIGB Lecteurs Prêts / Retours Catalogue Rotation des ouvrages Les statistiques générées par le SIGB sont nombreuses : Sur les collections Sur la circulation Sur les lecteurs Outil indispensable parce que reste le lieu du livre et de l emprunt. Mais les données du SIGB ne couvrent que très partiellement les RE

12 Usage des RE Compter des accès? Compter des usages? Difficulté de disposer de données harmonisées C est l usager et l expression de ses pratiques et de ses attentes qui devraient être au fondement d une offre électronique. EzPaarse (analyse des logs en fonction des profils LDAP)

13 Les enquêtes

14 Enquêtes La bibliothèque de Sciences po mène régulièrement des enquêtes en ligne. Exemples : - Enquête de satisfaction ; Expression des besoins : - Enquête minutes sur les horaires (à l occasion de l extension des horaires d ouverture) : vérifier la satisfaction ; prioriser les actions (les jours, le calendrier). La dernière : 1428 réponses (traité sous Modalisa) - Enquête d usage et de satisfaction : - Enquête Inmedia : recueillir l avis des utilisateurs de l outil, obtenir un meilleur éclairage sur leurs pratiques documentaires afin d'identifier des axes d amélioration dans la poursuite de l objectif d'unification des outils de recherche (749 répondants) ;

15 L enquête LibQUAL+

16 Une enquête de perception internationale : Libqual+ Libqual+ une enquête qualité à mener à intervalles réguliers (2009, 11, 14) une enquête internationale aux questions identiques quel que soit l établissement permettant des comparaisons avec d autres bibliothèques universitaires en France, en Europe ou dans le monde 22 questions + 5 questions optionnelles supplémentaires des commentaires à traiter directement un questionnaire un peu aride à accompagner d une campagne de communication et de cadeaux à gagner

17 Que mesure-t-on avec Libqual+? Le ressenti des publics sur les services selon 3 axes 1- Affect of service = qualité des services 2- Information control = accès à l information 3- Library as a place = comme lieu A travers 3 notes de 1 à 9 le niveau minimal acceptable le niveau maximal souhaitable le niveau observé C est un constat sur une échelle d exigence! Adéquation = minimum acceptable - niveau constaté (Adequacy) Progression = maximum souhaité niveau constat (Superiority)

18 Sciences Po 2011 avec questions optionnelles Libqual + : l intérêt d une étude internationale AS-9 AS-8 AS AS-6 AS-5 AS-4 AS-3 OP-5 7 AS-2 OP AS-1 OP-3 4 LP-5 OP-2 3 LP-4 Une vision globale de la satisfaction OP-1 IC-1 LP-2 LP-3 IC-2 LP-1 Une comparaison diachronique IC-3 IC-4 IC-5 IC-6 IC-7 IC-8 Une comparaison avec quelques unes des 364 universités partenaires de Sciences Po ou les BU françaises Une segmentation par publics et par localisation Une identification des attentes et des accomplissements

19 Libqual + : Comparabilité Dimension humaine du service Maîtrise de l'information Bibliothèque comme lieu LibQUAL France répondants Sciences Po répondants Un niveau d exigence plus élevé à Sciences Po, un matériel plus moderne mais des contraintes d espace plus fortes qui pèsent sur les places offertes LibQUAL 2014

20 Libqual + : Comparaison diachronique Le niveau d exigence est toujours élevé et stable depuis Le niveau de satisfaction est grevé par le problème des places Dimension humaine du service Maîtrise de l'information Bibliothèque comme lieu

21 Libqual + : analyse segmentée Rappel de de la la satisfaction & des attentes sur les collections La satisfaction sur l aspect «maîtrise de l information» La bibliothèque possède les documents imprimés dont j'ai besoin pour mes travaux A permis d identifier une marge de progression importante sur la question des collections pour les usagers des cycles avancés, pour les étudiants anglophones et pour les enseignants chercheurs.

22 Les entretiens...

23 Focus, Test d utilisabilité La bibliothèque de Sciences po mène régulièrement des focus groups avec les usagers : - Focus groups auprès des enseignants chercheurs usagers de de recherche difficiles à mobiliser sur des enquêtes quantitatives (5 à 6% des répondants) avec des contraintes de temps et disponibilité - Test d utilisabilité du nouvel OPAC : Tester la nouvelle interface avant la mise en ligne : vérifier les parcours, les intitulés, la navigabilité, l utilisabilité. Définir des scenarii de recherche. Observer les chemins empruntés par les étudiants.

24 L observation

25 Observation via les semaine test de la consultation en salles Evolution de l offre et de sa consultation depuis 2007

26 Les semaines tests de la consultation Mesurer la consultation sur place (10% du fonds de ScPo)

27 Les semaines tests de la consultation Observer la consultation des ouvrages en libre accès des collections par domaine thématique Un nombre restreint de sujet monopolise une part de plus en plus importante des consultations (31% de la consultation en 2014 et 23,7% en 2011). Droit public et Sc Po sont en tête des consultations depuis 4 ans (suivis tout près par 327, RI et 338, éco)

28 Les semaines tests de la consultation Evolution du taux de consultation Observer le poids relatif des collections et de leur consultation au travers du calcul du «taux de consultation» Rappel : Ce taux résulte du rapport entre le pourcentage occupé par les consultations d un secteur (ou d un domaine) dans l ensemble des consultations et le pourcentage occupé par les collections du secteur (ou domaine) dans l ensemble de la collection imprimée. Selon que la valeur est > ou < à 1, on peut regarder le poids relatif de la consultation sur l offre.

29 Les semaines tests de la consultation Age moyen des collections consultées Observer le poids relatif des collections et de leur consultation au travers du calcul du «taux de consultation» Depuis 2011, on constate un rajeunissement de l âge moyen des collections consultées qui, en moyenne, passe de 10 ans à 7 ans lors de la dernière observation.

30 L observation «ethnographique»

31 Méthodologie de l enquête «Sweeping» Cette approche ethnographique a été initialement utilisée par les urbanistes étudiant par exemple l appropriation des espaces commerciaux par les clients. Cartographier l organisation physique de ainsi que l utilisation des espaces par les usagers. Evaluer les usages

32 Enquête Sweping the library Répondre aux questions : Comment les étudiants se servent-ils des espaces de la bibliothèque? Quel rôle ces espaces jouent-ils dans la vie de la communauté scolaire? Observer toutes l année, toutes les heures, selon des rondes qui couvrent tous les espaces, tous les mobiliers, tous les espaces d interaction avec le personnel. Photo : C. Uhland, BPI. CC BY-NC-ND 2.0

33 Enquête Sweping the library Eclairer l aménagement des espaces, Permettre une meilleure adéquation des services aux attentes des usagers, Remodeler l'espace des interactions sociales au sein de selon les comportements d'utilisation des différents types d usager Permettre une réflexion sur le règlement et son adaptation aux nouveaux usages. Photo : Maïta Lucot-Brabant, BPI. CC BY-NC-ND 2.0 Sweeping the library Nov. 2013, Cécile Touitou

34 Enquête Sweping the library : Notre grille d observation Observer selon 5 axes : Profil, Lieu de l observation, Mobilier & équipement, Effets personnels, Activités.

35 Enquête Sweping the library : Quelques résultats Profil type de l usager : Plutôt une fille (57% de jeunes filles sur le campus de Paris); 89% de ans ; 84,5% sont installés pour travailler seuls 44% disposent d un ordinateur personnel (dont 10% sont installés à des postes avec ordi de la bibliothèque) 35% ont un smartphone visible (ou en cours d usage) 10% ont des cahiers ou des crayons 8% ont des livres ou périodiques disposés sur leur table

36 Enquête Sweping the library : Quelques résultats Discute avec une personne ou un groupe Discute avec une personne ou un groupe 5,6 Utilise un ordinateur pour consulter des RE non identifiables 8,1

37 Enquête Sweping the library : Quelques résultats Discute avec une personne ou un groupe Discute avec une personne ou un groupe 5,6 Utilise un ordinateur pour consulter des RE non identifiables 8,1

38 Enquête Sweping the library : Quelques résultats 8% des lecteurs ont des livres ou périodiques disposés sur leur table : Portrait de l usager avec livre imprimé (659 observations sur 2400) : Ces lecteurs ont été plus souvent observés en juin et juillet (il s agit des étudiants qui préparent les concours); souvent à une place sans ordinateur (plus souvent au 30SG) et plus souvent dans le créneau 16H30/18 H; Souvent il s agit de lecteurs engagés dans une activité de prêt / retour ou de photocopie Ils sont plus souvent que l ensemble de la population engagés dans une activité de prise de note; rédaction ; Ils ont en moyenne 1,8 documents sur leur table

39 Pour quoi faire?

40 Quels objectifs? Cartographier les usages / Segmenter les publics L ambition de la mission Marketing de Sciences Po est de réaliser une description du public selon ses usages intégrant l ensemble de l offre de : Usage des collections imprimées Usage des ressources électroniques Usage de physique Usage des services (Q/R, besoin d aide, renseignement bibliographique) Usage des espaces

41 Quels objectifs? Connaître les évolutions des pratiques pour anticiper la demande Parvenir à segmenter le public en fonction de ses usages Connaître les évolutions des usages pour penser de demain

42 Quelles difficultés? Le fichier des lecteurs ne permet pas de connaître finement les prêts Il n y a pas de contrôle d accès à l entrée de L usage des RE demeure pour l instant une «boite noire» La multiplication et l hétérogénéité des ressources et des formats Passer de l analyse des données au plan d action

43 Les actions

44 Après les constats baisse de l activité documentaire surpopulation besoin d accompagnement besoin de simplifier les accès aux ressources

45 Repenser le service public des conditions de prêt reconsidérées périodiquement des horaires régulièrement élargis (63 à 85 heures d ouverture) quelle présence de quel type de personnel en salle à quels moments? formation collective à l accueil et aux situations de face public (gestion du stress, bilinguisme ) formations utilisateurs repensée voire «à la carte» en direction des publics post-collège groupe de travail interne sur le sens et le contenu du service public avec nouvelles propositions (en cours)

46 Pour en savoir plus... BibNum de l Enssib : «Semaines test» à la Bibliothèque de Sciences Po (2007 à 2014) Enquête sur les pratiques et les attentes des lecteurs de la bibliothèque de Sciences Po (2008) Page «Enquêtes» du site de de Sciences-Po : cecile.touitou@sciencespo.fr