ECOLE NATIONALE SUPERIEURE DE COGNITIQUE Projet ARLIU Paul Bui- Quang & Joachim Yerusalmi 03/01/2011 urs. Ce rapport contient ainsi la menées sur des utilisateurs afin de corréler les indicateurs que propose la taxonomie et les représentations des internautes. Mais surtout, le contenu de ce qui suit consiste en un retour
Table des matières Introduction... 2 Contexte... 2 Objectifs... 2 Déroulement du projet... 2 Planning final... 2 Con... 4 Méthodologie employée... 4 Collecte des ULH... 4 Classification des ULH... 5 Résultats... 5 Détail des taxonomies... 5 Comparaison des taxonomies... 6 Prise en compte des usages... 9 Hypothèse... 9 Protocole... 9 Présentation... 9 Application de test... 9 Résultats... 10 Données... 10 Analyse... 10 Discussion... 11 Conclusion... 12 Annexes... 13... 13 Formulaire de schéma... 18 Graphes... 19
Introduction Contexte recherche dénommé RAUDIN «Recherches Aquitaine sur les Usages pour le Développement des dispositifs Numériques», et plus spécifiquement au sein du sous- programme «indicateurs de déploiement des services numériques de qualité : Méthodes, Instruments et C usages des dispositifs numérique et en particulier ceux dispensés via des applications Web, afin de définir des indicateurs de performances de la communication numérique. de productique), LaBri (équipe de visualisation), ENSC (équipe de cognition) et U.Bx3 (équipe sur les systèmes informatisés de communication). Objectifs site web. Une classification taxonomique de ces ULH rendrait possible la catégorisation de sites et la regard sur les styles et performances éditoriales du web. informationnels de ces sites. Cette première étape dé classificateur (la taxonomie et la signature) pour ces sites. Elle donnera aussi le matériel nécessaire à la deuxième étape qui consiste à mettre en évidence la pertinence des ULH et de la taxonomie face à la représentation Le rendu attendu comprend donc : - - - la taxonomie réalisée à partir des sites de mairies une étude comparative de la taxonomie des universités et celle des mairies une étude entre le modèle taxonomique et les usages des internautes Déroulement du projet propre aux sites de mairie et la deuxième, la réalisation de tests utilisateurs. Ces deux parties se sont conclues par des études et réflexions. Nous avons aussi développé deux applications, une pour Planning final
Méthodologie employée Afin de constituer la taxonomie des mairies, nous avons dû premièrement procéder à la collecte des ; ceci afin de mieux pouvoir les comparer et mettre en évidence des mises en valeur informationnelles propres à chacune de ces universités déjà existante. Cependant, ces tâches ont été parsemée de difficultés que nous allons vous présenter plus en détail par la suite. - outils 1 pour nous permettre tement plus automatique. Collecte des ULH comme il a été mentionné dans le document 2 qui nous a été fourni à propos du projet Raudin, cette tâche de col pour la collecte automatique : - : pas de solution automatique trouvée, il faut vraie - Technologie flash employée : pas de solution trouvée - Page html composée de balises <frame> (cette technique découpe une page web en code source brut de la page) : nous avons pris en compte ce problème (doit être traité de manière récursive), en lançant la récolte sur les pages pointées par ces frames. De plus, - Utilisation de javascript simulant le comportement de liens sur des simples balises <div> : pas de solution automatique trouvée. - Utilisation de la balise <map> sur les i - text. Les difficultés mentionnées ici ont posé de nombreux problèmes en ce qui concerne la récolte automatique des termes passeurs (liens hypertextes) des sites, or cette problématique nous semble Nous pointons donc ce problème qui ne semble pas avoir été résolu autant au cours de ce projet que par les informaticiens que nous avons rencontré à Bordeaux 3. 1 Cet application- u les augmenter, et à la projection de site sur une 2 - Nathalie Pinède & David Reymond, version du 29/09/10
Classification des ULH Ayant cependant réussi à récolter un nombre conséquent de termes passeurs pour les mairies, nous avons tenté de les classer en se basant sur les classes crées pour la taxonomie des universités. Ce classement, et donc la taxonomie elle- non utilisés pour leur création ; il ne nous a donc pas semblé très crucial que la taxonomie que nous nous a permis de la comparer à celle des universités. Cette taxonomie existe de manière partagée en «googledoc» et peut donc être augmentée, affinée, afin de mieux nuancer et préciser ses caractéristiques et augmenter sa capacité de recouvrement. - vous avec N. forme de poids par exemple), et si une ULH pouvait être doublement voire triplement classée (appartenir à plusieurs classes avec une pondération ou sans). Ces questions réponses au cours de ce projet, cependant, elles nous ont posé de nombreux problèmes dans la classification et doivent être résolues. Nous avons donc tenté de se rapprocher au mieux de la méthodologie de classification employée pour les universités, notamment en ce qui concernait la des termes potentiellement multi- classable (par ailleurs il y a un terme multi classé dans la taxonomie présentée sur le site TaxoWeb 3 ). Résultats Détail des taxonomies La taxonomie de mairie que nous avons constituée comprend 989 ULH, mais beaucoup de rejetées version» de taxonomie que nous avons comparée à celle des universités (importée depuis le site TaxoWeb) comprend 33 classes. Voici un tableau récapitulatif des classes la composant : Taxonomie mairie 989 Taxonomie université 752 culture / loisirs 130 recherche 116 accueil/presentation/infos générales 93 formation 109 vie citoyenne 63 ressources documentaires / supports en ligne 70 action sociale et santé 58 actualités 49 ressources documentaires / supports en ligne 52 culture / loisirs 43 partenariats / transfert / valorisation 50 technologies 34 famille 47 authentification 32 accès contenu 38 partenariats / transfert / valorisation 30 parc urbain et urbanisme 37 accueil / présentation / infos 26 3 TaxoWeb (http://147.210.152.66/taxoweb/) est le site qui contient les ressources en termes de taxonomie des universités et qui nous a été fourni, notamment pour récupérer la taxonomie elle- même. Il est à noter
générales actualités 36 accès contenu 24 contacts 35 services communs 23 services communs 35 logistique / équipement 19 accès géographique 33 outils pull / push 17 transport 31 accès géographique 14 économie 28 international 14 emploi 26 contact 13 scolaire 25 profil utilisateurs autres 12 administration 23 profil linguistique autre 11 accès web 22 recrutement 11 environnement 22 profil linguistique anglais 9 associations 16 rechercher 9 profil senior 14 accès web 8 logistique / equipement 12 association 7 profil habitant 12 mentions légales 7 liens 10 administration 6 technologies 10 aide 6 mentions légales 9 profil lycéen 6 outils pull / push 8 profils chercheurs 6 accès santé 7 liens 5 authentification 3 profil linguistique francais 5 recherche 2 annuaire 4 permanences 1 profil étudiant 4 profils presse 1 profil entreprises 3 Tableau 1 : Classes pondérées des taxonomies Comparaison des taxonomies On peut remarquer que la répartition est la même pour les deux taxonomies quoique plus aplatie pour les mairies, ayant un contenu plus vaste et hétérogène. Les deux figures suivantes qui informationnels différents qui caractérisent notamment la signature taxonomique de ces types de dans le graphe (figure 3) qui compare les poids des différentes classes communes des taxonomies. Aussi, une majorité des classes dominantes de ces taxonomies font partis des classes communes ce
Classes prédominantes Mairies culture / loisirs 13% 10% accueil/presentation/info s générales vie citoyenne 60% 6% 6% action sociale et santé 5% ressources documentaires / supports en ligne autre Figure 1:Classes prédominantes de la taxonomie des mairies Classes prédominantes Universités recherche 15% formation 49% 14% ressources documentaires / supports en ligne actualités 6% 7% 9% culture / loisirs autre Figure 2 : Classes prédominantes de la taxonomie des universités
14 12 10 8 6 4 2 0 mairie université Figure 3 : Comparatif des poids normalisés des classes communes des deux taxonomies
Prise en compte des usages Hypothèse s sites web par rapport à précis. Cependant nous avons préféré négliger cette hypothèse et supposer que malgré ce biais influencé dans sa navigation par le style éditorial du site, seul la perception de ce dernier est supposé. La prise en compte de ce aurait alors fallu procéder à des suivi de chemin de navi - tracking. Protocole Présentation souvenait nt au mieux son ressenti et ce qui l a marqué le plus. : en partant du plus libre, un entretien oral, en passant par la schématisation du site (permettant au sujet de se cadrer sur la structure spatiale retien oral comportait deux grandes questions, parfois regroupées. La première consistait à demander au sujet de se remémorer et de retransmettre les informations du site, son contenu. La deuxième lui proposait ensuite de déterminer ce que le site mettait Application de test 4. nné que nous avons fait passé ces expériences sur deux lieus différents. Néanmoins, la phase de schématisation version papier. : - - - - une page présentant le projet une page de consigne un questionnaire les phases du test sur un site (x3) o un navigateur web permettant de naviguer sur le site n i pendant 3 minutes o retien o schématisation (remplacée par une version papier) 4 en annexes.
- o choix de 3 termes appartenant à la taxonomie page de remerciement soient également représentées. rience durait entre 20 et 25 minutes. Résultats Données A ce jour, nous avons fait passer le test à 24 (5 hommes et 19 femmes) sujets sur les 36 prévus au départ. et de personnel (pour les mairies) fréquentant ou travaillant au SUIO de bordeaux 2 à Carreire et à la Victoire. (environ 360 minutes), les feuilles contenant les schémas des sites (72 schémas) et des fichiers contenant des informations (24 petits fichiers texte) sur les sujets et les résultats de la dernière étape du test 5. Analyse Par manque de temps et du fait de leur densité (certains fichiers audio durent plus de 10 min) nous de manière statistique les résultats que nous avons obtenus des tests. Cependant allons donc présenter ici les mots choisis (3 e es utilisateurs et les comparer avec les classes qui recouvrent les sites associés (Les graphiques sont placés en annexes afin de permettre une meilleure lisibilité). Cependant, ces analyses souffrent de plusieurs problèmes : - - Pour les sites de mairies, le nombre de sujets étant insuffisant (9/18) et la taxonomie doit être à réajuster comme évoqué dans la partie précédente. Pour les sites des universités, les sites choisis de façon aléatoire nous ont fait de mauvaises surprises. En effet, le nombre de liens exploitables sur ces derniers sont très faibles ce qui pourquoi pour les graphes de ces résultats nous avons rajouté la taxonomie des universités afin de pouvoir compa site styles éditoriaux et à une intentionnalité de communication et que celle- ci se rapproche de celle décrite par les liens et leur classification sur une taxonomie ; ceci dans une certaine mesure. Ce arrivent généralement à déceler un certain axe de communication de la part des sites web. 5 : http://www.versatile- world.eu/arliu_results
Discussion résultats que nous avons obtenus, nous avons pu remarquer que les mots employé par les utilisateurs (entretien oral et schéma des sites) se rapprochent souvent des liens du site et plus particulièrement ceux qui le structurent : les menus, les liens navigationnels perçus. Cela dit, ce résultat est sans doute dû à la forme du test qui consiste à faire naviguer le sujet sans but précis, mais cela est assumé puisque la navigation avec objectif amènerait le biais que objectif. Ensuite, l qui paraît évident. Cependant, la taxonomie ne prend pas en compte ce contenu pourtant crucial «accueil/présentation/infos générales» html (balises <h1>, <h2>, etc.) pour prendre en compte une partie de ces informations. A noter que ces balises sont parfois utilisées pour des groupements de menus du site. Or, comme pour les liens hypertextes, les balises <hx> ne sont pas toujours utilisées, peut- être pourrait- on palier à cela en récoltant les termes ayant une taille de police supérieur à la moyenne de celle utilisée par le site. utilisateurs et la signature sur le modèle taxonomique alimenté par les ULH.
Conclusion A la fin de ce projet, n travail sur celle- - ci avec celle des universités nous ont bien montré technique que méthodologique. La pa taxonomique. Cette expérimentation a aussi pointé des aspects que ne prenait pas en compte ce modèle.
Annexes écran de ArliuXP Image 1: Ecran de configuration du test
Image 2 : Ecran de présentation de l'expérience Image 3 : Ecran de consigne
Image 4 : Ecran du questionnaire Image 5 : Popup avertissant du début de l'étape de navigation
Image 6 : Etape de navigation sur le site Image 7 : Etape d'entretien
Image 8 : Etape de schématisation Image 9 : Etape de choix de termes
Formulaire de schéma Image 10 : Feuille de schématisation du site
Graphes 18 16 14 12 10 8 6 4 2 0 accès contenu accès géographique accès santé accès web action sociale et santé actualités administration associations authentification contacts culture / loisirs économie emploi environnement famille liens logistique / equipement mentions légales outils pull / push permanences profil habitant profil senior profils presse recherche scolaire services communs technologies transport vie citoyenne Taxonomie des mairies Parempuyre Blanquefort Ambès Graphe 1 : Projection des sites sur la taxonomie 25 20 15 10 5 0 Projection site Parempuyre Choix des mots des sujets Graphe 2 : Comparaison mots utilisateurs et projection du site de Parempuyre
20 18 16 14 12 10 8 6 4 2 0 Projection site Blanquefort Choix des mots des sujets Graphe 4 : Comparaison mots utilisateurs et projection du site de Blanquefort 30 25 20 15 10 5 0 accès contenu accès géographique accès santé accès web action sociale et santé actualités administration associations authentification contacts culture / loisirs économie emploi environnement famille liens logistique / equipement mentions légales outils pull / push parc urbain et urbanisme permanences profil habitant profil senior profils presse recherche scolaire services communs technologies transport vie citoyenne Projection Site Ambès Choix des mots des sujets Graphe 3 : Comparaison mots utilisateurs et projection du site d'ambès
60 50 40 30 20 10 0 accès contenu accès géographique accès web actualités administration aide annuaire association authentification contact culture / loisirs formation international liens logistique / équipement mentions légales outils pull / push profil entreprises profil étudiant profil linguistique anglais profil linguistique autre profil linguistique francais profil lycéen profil utilisateurs autres profils chercheurs recherche rechercher recrutement services communs technologies Taxonomie Université Projection CBIB Mots choisis des sujets Graphe 6 : Comparaison mots utilisateurs et projection du site du CBIB 35 30 25 20 15 10 5 0 Taxonomie Université Projection ILP Mots choisis des sujets Graphe 5 : Comparaison mots utilisateurs et projection du site de l'ilp
30 25 20 15 10 5 0 accès contenu accès géographique accès web actualités administration aide annuaire association authentification contact culture / loisirs formation international liens logistique / équipement mentions légales outils pull / push profil entreprises profil étudiant profil linguistique anglais profil linguistique autre profil linguistique francais profil lycéen profil utilisateurs autres profils chercheurs recherche rechercher recrutement services communs technologies Taxonomie Université Projection US2B Mots choisis des sujets Graphe 7 : Comparaison mots utilisateurs et projection du site de l'us2b 60 50 40 30 20 10 0 accès contenu accès géographique accès web actualités administration aide annuaire association authentification contact culture / loisirs formation international liens logistique / équipement mentions légales outils pull / push profil entreprises profil étudiant profil linguistique anglais profil linguistique autre profil linguistique francais profil lycéen profil utilisateurs autres profils chercheurs recherche rechercher recrutement services communs technologies Taxonomie des université ILP US2B CBIB Graphe 5 : Projection des sites sur la taxonomie des universités