Fouille de données du web dans un contexte d'archivage institutionnel : Une collaboration autour des campagnes électorales de 2012

Transcription

1 Fouille de données du web dans un contexte d'archivage institutionnel : Une collaboration autour des campagnes électorales de 2012 Jean-Marc Francony, UMR PACTE Université de Grenoble Alpes jeanmarc.francony@umrpacte.fr Peter Stirling, Bibliothèque nationale de France peter.stirling@bnf.fr

2 Dimension patrimoniale du web o Le web est très tôt apparu comme un espace documentaire : Qui incorpore de mieux en mieux les publications traditionnelles sous un format numérique, Qui assure la fonction pivot dans le processus de convergence numérique pour les productions des média traditionnels (journaux, radio, Télévision). Qui généralise et globalise l espace de publication et les problématiques éditoriales portées par les individus comme par des communautés (sites, blogs). Cette conception documentaire a guidé la prise en compte patrimoniale du web dès la fin des années Elle se mettra en place progressivement à l initiative de Brewster Kahle qui fonde l Internet Archive et sera suivie un peu plus tard par les bibliothèques nationales.

3 Les acteurs de l archivage du web 1996 : Internet Archive: : organisme à but non lucratif installé à San Francisco. Il réalise des captures du web et constitue la wayback machine 2003 : International Internet Preservation Consortium (IIPC) coordonne l action des bibliothèques nationales sur les problématiques de l archivage du web 2004 : Internet Memory Foundation : fondation à but non lucratif promouvant les initiatives de préservation de l internet perspective patrimoniale et culturelle : Archive-it : : archivage sur souscription appuyé sur Internet Archive

4 L'archivage institutionnel du web Le Code du patrimoine, modifié par la loi DADVSI (2006) et son décret d application (2011) précise les modalités juridiques du dépôt légal de l internet. «Signes, signaux, écrits, sons ou messages de toute nature qui font l objet d une communication au public par voie électronique» Le «web français» : en.fr, dont les auteurs sont domiciliés en France, ou produit en France Deux institutions dépositaires : la Bibliothèque nationale de France et L Institut national de l Audiovisuel L obligation de dépôt légal n implique pas de démarche particulière de la part des producteurs L idéal d exhaustivité est remplacé par un souci de représentativité. La consultation des archives de l internet est autorisée aux chercheurs dûment accrédités, dans les emprises de la BnF (salles de recherche), et dans des établissements habilités en région

5 L approche technique et documentaire d'archivage du web à la BnF La politique documentaire repose sur le «modèle intégré» qui combine deux types de collectes (BcWeb): Collectes larges : collectes annuelles d un très grand nombre de sites Collectes ciblées : des collectes plus fréquentes et/ou plus en profondeur de sites sélectionnées par des bibliothécaires ou des partenaires (thèmes particuliers, événements, projets de recherche ) La collecte est réalisée par le logiciel open source (robot) HE RI T RI X part d'une liste d'adresses URL «graines» ; Objectifs : extrait les liens dans le code des pages, et poursuit l'archivage sur les pages liées dans la limite de la profondeur visée/possible ; copie les éléments (par page) qui font partie du périmètre de la collecte. restituer l'expérience de consultation, Permettre des parcours longitudinaux.

6 Acquis méthodologiques Méthode empirique: Collecte de sources "fixes" : o URL associées aux partis, candidatures, médias, sondeurs, forums, Collecte de sources "mouvantes": o URL(s) Résultats de recherches sur mots clés à différentes périodes d'actualisation Collecte de sources "manuelles": o URL(s) Issues d'analyses au fil de l'eau de la campagne (émergences) Limites: difficultés de paramétrage et de contrôle sur le processus d'archivage: cycle, profondeur/largeur, formats, protocoles, etc. paradigme consultation de page et d'environnement de restitution (wayback machine) Les contraintes du modèle économique "payant". Les contraintes du modèle institutionnel.

7 Les collectes électorales et l analyse des métadonnées De nouvelles approches aux archives du web pour les considérer comme des ensembles de données plutôt que des documents individuels Approches des «humanités numériques» : fouille de texte, analyse de liens, cartographie L extraction de métadonnées facilite le traitement et l analyse Fichiers DAT qui contiennent notamment tous les liens sortants de chaque page HTML Les fichiers concernant les élections de 2012 ont été fournis au laboratoire PACTE dans le cadre d une convention de recherche Ce projet permet d expérimenter des outils et des méthodologies dans la fouille de données sur les collections des archives de l internet

8 Enjeux de l'archivage conjoint : 2017 S'adapter aux stratégies de communication et aux logiques de campagne des acteurs de l'événement médiatique, suivre l'évolution des pratiques du web 2.0. Méthode: réaliser un archivage circonstancié complémentaire de l'archivage institutionnel. Visant la capture de ressources hors cadre institutionnel ou insuffisamment couvertes mais fortement utilisées: Facebook, Twitter, etc. Visant la restitution de l'activité, des dynamiques de publication : fils RSS, TimeLine Twitter, etc. Enjeux scientifiques : articuler l'univers du web avec celui des services du web 2.0 dans un contexte événementiel, Améliorer la contextualisation de l'événement, Saisir les dynamiques événementielles et l'agenda médiatique, Problèmes : couverture respective des espaces informationnels, Documentation et monitoring des processus d'archivage interopérabilité des archives, Accessibilité des données.

9 URLs Tweetées : Européennes2014 Dans quelle mesure l archive institutionnelle recouvre-t-elle l archivage événementiel de Twitter? Corpus d étude : urls valides distinctes dont domaines distincts Collection BCWeb Libellé Collection URL Domaine Européennes 2014 EU Droit économie politique DEP Dépôt légal DDL Audiovisuel AUD Mouvements sociaux MOUV Presse payante PP Actualité ACTU Solidarités SOL Publications officielles PO REUNION recouvrement 3,59% Recouvrements Libellé Collection contribution Dom sub_dom URL Européennes 2014 EU % 5,07% 4,93% 51,54% Droit économie politique DEP 71% 2,23% 4,15% 19,20% Dépôt légal DDL 8% 0,96% 0,57% 11,75% Audiovisuel AUD 6% 1,88% 2,86% 30,66% Mouvements sociaux MOUV 23% 0,94% 0,49% 14,09% Presse payante PP 122% 0,41% 0,14% 2,43% Actualité ACTU 215% 1,53% 2,31% 18,88% Solidarités SOL 8% 0,63% 0,16% 4,95% Publications officielles PO 22% 1,66% 2,25% 3,46% REUNION 12,73% 11,41% 8,24% 62,17%

10 Informativité: Présidentielles2012 URL des billets de blogs nominatifs de candidats Les chemins (path) des URL peuvent-ils apporter des éléments d'information sur les contenus du domaine? enregistrements JLM MLP { "_id" : ObjectId("554c52931b6fc348577c8246"), "candidat" : ["Mélenchon, Jean-Luc"], "url" : " "parti" : ["FG"], "netloc" : " "collection" : "POL2012", "typo" : "sites des candidats en campagne", "prof" : "domaine", "freq" : "1 fois par mois", "geo" : "national", "leader" : ["JLM"] { "_id" : ObjectId("554c52931b6fc348577c844e"), "candidat" : ["Le Pen, Marine"], "url" : " "parti" : ["FN"], "netloc" : " "collection" : "POL2012", "typo" : "sites des candidats en campagne", "prof" : "domaine", "freq" : "1 fois par mois", "geo" : "national", "leader" : ["MLP"] } JLM MLP date cpt date cpt 09/04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /04/ /05/ /05/ /05/ /05/ /05/ /05/ /05/ /05/ /05/ /05/

11 Formes actives extraites des URL JLM JLM MLP

12 AFC MLP Média Elt. language campagne

13 Concordancier: système marine_le_pen accuse martine_aubry françois_hollande et arnaud_montebourg d avoir soutenu le système dalongeville kucheida en toute connaissance de cause marine_le_pen plus que jamais victime du système politico médiatique hausse de la tva françois_bayrou se rallie au système suites de l affaire karachi le système nicolas_sarkozy en accusation l affaire uramin un symbole de l incompétence du système umps affaire dexia le système umps licenciements chez merck double jeu et hypocrisie des syndicats du système anti corruption ou alibi du système

14 Conclusion : Envisager la complémentarité des archivages circonstanciés (2.0) avec l'archivage institutionnel nécessite que soient prises en compte, au plus tôt, les contraintes suivantes : les références aux ressources externes doivent être résolues, la complétude des éléments capturés (média, etc.) doit être réalisée, Le lien entre les deux programmes d'archivage devrait pouvoir être établi : En réalisant un monitoring associé à l'archivage circonstancié afin d'orienter l'archivage institutionnel. En rendant disponible dans le temps de l'événement des données de monitoring de l'archivage institutionnel (API).

15 Conclusion: Il n'est pas seulement question d'exploiter une compétence légitime et institutionnelle, il s'agit également de faire bouger les lignes en faveur d'une accessibilité accrue aux données d'archives.