Introduction. Internet : Moteur de recherche : Google, Yahoo, Forum

Transcription

1 VIELLE TECHNOLOGIQUE SUR INTERNET Mr Mounir GRARI 2007/2008

2 Plan 2 Enjeux de la veille Spécificités des moteurs de recherche Les agents intelligents Elaborer une stratégie de recherche Extraire l information Types de recherche Savoir exploiter le Web invisible et les zones spécifiques Constituer une banque d outils Rédiger et consigner les résultats de la recherche

3 Introduction 3 La veille technologique est une activité qui met en œuvre des techniques d'acquisition, de stockage et d'analyse d'informations La veille technologique peut s'alimenter de données provenant de tous types de sources : Internet : Moteur de recherche : Google, Yahoo, Site web Forum

4 Introduction (Moteur de recherche) 4 Google (environ 60% des 61 milliards de recherches sur internet) Yahoo (8,5 milliards de recherches, soit 14% du total) Baidu le Google chinois" qui monte en puissance (3,3 milliards de requêtes, soit 5,4% du total) Live Search moteur de recherche de Microsoft (2,1 milliards de recherches, 3,4%) Naver moteur de recherche coréen du groupe NHN (2 milliards de recherches). Le site de commerce ebay (1,3 milliards de recherches).

5 Enjeux de la veille (Quelques définitions) ) 5 Une organisation est : Un ensemble d'individus, regroupés au sein d'une structure régulée, dans le but de répondre à des besoins et d'atteindre des objectifs déterminés. L'information est : le moyen pour un individu de connaître son environnement.

6 Enjeux de la veille (Quelques définitions) ) 6 L Information technique : Il s'agit donc d'une information généralement fiable et une donnée pertinente. Ces informations sont diffusées par différentes sources. Internet : annuaires, moteurs de recherche, méta moteurs et agents «intelligents».

7 Enjeux de la veille (Quelques définitions) ) 7 La Veille : se définit comme une activité continue et en grande partie itérative visant une surveillance active de l environnement technologique, commercial pour en anticiper les évolutions. Il s agit donc d un outil de recherche et de développement.

8 Enjeux de la veille (Objectifs) 8 La veille permet : d'éviter les erreurs de décision, de détecter les opportunités et les menaces, de faciliter le processus de décision, De voir ce qui s'est déjà fait Mieux cibler et bien choisir des projets innovants Comparer son savoir et le développer Anticiper l évolution de l environnement Développer l ouverture de l organisation sur son environnement.

9 Enjeux de la veille 9 Les différents types de veille : Économique Commerciale Marketing Sociétale Technologique Concurrentielle La veille est un processus qui permet de collecter, d analyser et de diffuser des informations jugées utiles.

10 Enjeux de la veille : Intégrer la veille dans les processus de l'entreprise 10 Le processus de la veille comporte plusieurs étapes cycliques. Il se décompose en deux parties à savoir : La surveillance de l environnement L exploitation de l environnement

11 Enjeux de la veille : Intégrer la veille dans les processus de l'entreprise 11 La surveillance de l environnement : Cette phase nécessite en premier lieu la recherche et la collecte de l information. Il faut donc cibler le sujet et ses enjeux et mettre en place une stratégie de recherche efficace de l information utile. En deuxième lieu, il est nécessaire de passer à l étape de l analyser et de la validation des informations, en respectant les critères de validation : pertinence, exhaustivité, fiabilité des données.

12 Enjeux de la veille : Intégrer la veille dans les processus de l'entreprise 12 L exploitation de l environnement : Il s agit du traitement, de la diffusion et de l utilisation des informations pour la prise de décision. Le traitement des informations permet de retrouver l information pertinente d où la nécessité de mettre en place un dispositif de stockage et d archivage de données. La diffusion des informations traitées permet leur utilisation pour une prise de décision dans l environnement socio-économique de l organisation.

13 Veille et la recherche sur internet 13 Face à l énormité lénormité exponentielle du web devenu la première source d information mondiale, l internaute qui désire obtenir la réponse à une question peut recourir à différents outils ; on distingue entre annuaires, moteurs de recherche, métamoteurs et agents «intelligents t»

14 Spécificités des moteurs de recherche 14 Définition des outils de recherche à utiliser : Les annuaires : recensent selon une arborescence souvent complexe de catégories et de sous-catégories les sites Internet qui leur sont soumis (par leur auteur ou leur propriétaire, le plus souvent) ; leur fonctionnement t repose sur une déclaration préalable, associée le plus souvent à une validation qui peut faire intervenir de façon aléatoire ou systématique un agent humain. On peut citer Yahoo!, Voila, Nomade ou encore Lycos.

15 Spécificités des moteurs de recherche 15 Définition des outils de recherche à utiliser : Les annuaires : Le nombre de sites référencés est inférieur à ce que proposent en général les moteurs de recherche, et la pertinence réelle des sites référencés est difficile à évaluer. Ces annuaires, d abord portés par leur inscription dans un portail offrant d autres services (voir Yahoo!), sont de moins en moins utilisés

16 Spécificités des moteurs de recherche 16 Définition des outils de recherche à utiliser : Les moteurs de recherche : fonctionnent différemment : ils commencent par constituer un index de pages Internet (et non de sites) ; les auteurs peuvent soumettre leurs pages pour inscription dans cet id index, mais la grande masse en est récupérée é é de façon automatique, à l aide d un robot (un logiciel) qui suit et analyse les liens rencontrés dans les pages et navigue ainsi de l une à l autre.

17 Spécificités des moteurs de recherche 17 Définition des outils de recherche à utiliser : Les moteurs de recherche : Une copie de ces pages est stockée sur des serveurs dédiés (le chiffre exact est tenu secret, mais on estime dans le cas de Google à plus de le nombre de PC permettant de faire tourner ce «cache»). Lorsque l internaute t tape ensuite un mot dans la zone de saisie, un programme l analyse sommairement (reconnaissance de la langue d origine, filtre orthographique), puis parcourt les pages ainsi stockées à sa recherche.

18 Spécificités des moteurs de recherche 18 Définition des outils de recherche à utiliser : Les moteurs de recherche : Ce sont les résultats de cette recherche, classés selon une méthode que nous verrons plus loin, qui sont présentés à l internaute, avec l adresse de la page correspondante ainsi qu un extrait du contexte t dans lequell le mot apparaît au sein de la page. La quantité de pages examinées est beaucoup plus importante que dans le cas des annuaires la recherche se fonde pour l essentiel sur le contenu des pages, et non sur le résumé d un site fourni par son auteur.

19 Spécificités des moteurs de recherche 19 Définition des outils de recherche à utiliser : Trier les résultats : Chaque requête via un moteur de recherche pouvant produire une quantité énorme de résultats, il est bien entendu nécessaire de les trier avant de les présenter à l internaute. C est précisément éié sur la pertinence de cetri que Google a assuré son succès rapide au début des années 2000.

20 Spécificités des moteurs de recherche 20 Définition des outils de recherche à utiliser : Trier les résultats : Pour étudier la pertinence d une page rapportée au mot-clé recherché, e c les moteurs oeussese fondent ode d abord dabodsur le contenu de la page et sa structure : le mot est-il présent dans le titre de la page? Dans la page elle-même? À quelle fréquence? Apparaît-il rapidement ou plus loin au sein du document? Apparaît-il dans les balises (ces zones dont le contenu n est pas affiché lors de la consultation par l internaute mais qui permettent de renseigner les moteurs : description de la page, mots-clés de la page, etc.)? Apparaît-il dans l adresse da la page? Dans les liens conduisant vers cette page?

21 Spécificités des moteurs de recherche 21 Définition des outils de recherche à utiliser : Les métamoteurs: quant à eux, sont des outils logiciels qui interrogent en simultané plusieurs moteurs de recherche h ;principal i défaut de la plupart d entre eux : Google, acteur technologique incontournable, interdit l accès à son moteur à ce type d outils. Quant aux agents «intelligents», il s agit d outils doutils paramétrables destinés à effectuer de façon semi-autonome des missions de recherche d information et surtout de veille (observation des changements) sur différentes sources choisies.

22 Agents «intelligents» 22 Exemples d'agents intelligents Agents de recherche Agents de veille Agent de navigation

23 Agents «intelligents» Agents de recherche h d'informations 23 Par le terme d'agents de recherche d'informations, nous qualifierons toute la gamme de logiciels intermédiaires entre les moteurs de recherche et les "agents intelligents", consacrés à la recherche d'informations. Leur intérêt réside dans leur capacité à remplir età automatiser des tâches âh à la place de l'utilisateur. Ils suivent à la lettre la définition du terme agent : "entité agissant pour le compte de quelqu'un" un. On distinguera quatre fonctions principales :

24 Agents «intelligents» Agents de recherche h d'informations 24 Recherche d'informations : celle-ci ci peut se faire de manière "intelligente" par l'utilisation de métamoteurs perfectionnés (WebSeeker, Copernic Pro), d'outils d'analyse linguistique des requêtes (Autonomy, DigOut4U) ou par exploration de liens hypertextes à partir d'une URL (adresse d'une page web) donnée, sans utilisation d'un moteur de recherche (DigOut4U)

25 Agents «intelligents» Agents de recherche h d'informations 25 Analyse des informations récupérées : indexation sémantique des résultats (EchoSearch, WebCompass), résumé automatique (EchoSearch, WebCompass, DigOut4U) Filtrage, édition, archivage, mise à jour de résultats (WebSeeker, BullsEye) Navigation off-line parmi des pages ou des sites web téléchargés (WebWhacker, Teleport Pro)

26 Agents «intelligents» Caractéristiques téiti des agents intelligents it t 26 Les chercheurs en intelligence artificielle s'accordent saccordent sur la nécessité de l'existence de quelques caractéristiques pour qu'on puisse parler d'agents intelligents. A l'heure actuelle, aucun produit ne rassemble toutes ces caractéristiques. L'autonomie Capacité à communiquer et à coopérer Capacité à raisonner, à réagir à leur environnement La mobilité

27 Agents «intelligents» Caractéristiques téiti des agents intelligents it t 27 L'autonomie L'agent doit pouvoir prendre des initiatives et agir sans intervention de l'utilisateur final. Dans le contexte du web il doit pouvoir agir alors que l'utilisateur est déconnecté. d'autonomy de la société Agentware. Les agents de General Magic devraient aussi en être capable. La mobilité Les agents doivent pouvoir être multi-plate-forme et multiarchitecture. Ils doivent pouvoir se déplacer sur le réseau où ils accomplissent des tâches sans que l'utilisateur ait le moindre contrôle sur celles-ci.

28 Agents «intelligents» Caractéristiques téiti des agents intelligents it t 28 Capacité à communiquer et à coopérer L'agent doit pouvoir échanger des informations plus ou moins complexes avec d'autres agents, avec des serveurs ou avec des humains. Service Firefly : Indiquez à cet agent vos goûts musicaux et cinématographiques et il vous fera lui aussi des recommandations assez pertinentes.

29 Agents «intelligents» Caractéristiques téiti des agents intelligents it t 29 Capacité à raisonner, à réagir à leur environnement Capable de s'adapter à son environnement et aux évolutions de celui-ci. Cette adaptation doit s'appuyer sur l'analyse de l'environnement extérieur des agents. Firefly : les connaissances d'un agent sont en partie fonction des connaissances des autres agents Firefly. A mesure que leurs connaissances s'enrichissent enrichissent, les connaissances d'un agent particulier s'enrichissent aussi grâce aux échanges entre agents

30 Elaborer une stratégie de recherche 30 Formuler sa requête, stratégie de recherche Exemple : Sujet: L épuisement professionnel et la satisfaction au travail chez les informaticiens

31 Elaborer une stratégie de recherche 1. Identifier les principaux concepts (Plus il y a de concepts, plus la recherche est précise) Exemple : L épuisement professionnel et la satisfaction au travail chez les informaticiens Concept A Concept B Concept C Épuisement professionnel Satisfaction au travail informaticiens

32 Elaborer une stratégie de recherche 2. Choisir, traduire et enrichir son vocabulaire Identifier les synonymes ou termes équivalents en français. Si nécessaire, utiliser un thésaurus, un dictionnaire, liste de mots clés, etc. Ainsi que la troncature (*) * sert de troncature dans plusieurs Bases de données. On peut utiliser la troncature pour éviter d avoir à réécrire des termes ayant la même racine: Ex.: la racine Informaticien* permet de repérer les termes Informaticien, Informaticiens, Informaticienes, ETC, Concept 1 Concept 2 Concept 3 Épuisement professionnel Satisfaction au travail Informaticien* Burnout (Burn out, Burn-out) Satisfaction professionnelle Personnel informatique Stress Motivation OU ET

33 Elaborer une stratégie de recherche (Traduire les termes en anglais pour faire une recherche dans des Bases de données anglophones) Concept 1 Concept 2 Concept 3 Burnout Job satisfaction Nurs* (Burn out, burn-out) (Nurrse, Nurses, Nursing) Stress Motivation Computer science personnel ET OU

34 3. Lier les concepts avec des opérateurs logiques (opérateurs booléens --> ET, OU, SAUF (AND, OR, NOT))

35 Elaborer une stratégie de recherche (Formuler des équations de recherche en liant les concepts avec les opérateurs logiques appropriés (ET, OU, SAUF)(AND, OR, NOT). On peut formuler plusieurs équations simples de recherche) Concept 1 Concept 2 Concept 3 Épuisement Satisfaction au travail Informaticien* professionnel Burnout Satisfaction Personnel professionnelle informatique (Burn out, burn-out) Stress Motivation OU ET

36 Exemples d équations de recherche h Concept 1 Concept 2 Concept 3 Épuisement professionnel Satisfaction au travail Informaticien* Burnout Satisfaction i Personnel professionnelle informatique (Burn out, burn-out) Stress Motivation OU ET Exemples pour chercher dans des bases francophones Épuisement professionnel* ET satisfaction au travail ET informaticien* Épuisement professionnel ET satisfaction au travail ET personnel informatique Épuisement professionnel ET satisfaction professionnelle ET informaticien* Épuisement professionnel ET satisfaction professionnelle ET personnel computer science Burnout ET satisfaction au travail ET informaticien* Burnout ET satisfaction au travail ET personnel computer science etc

37 Exemples pour chercher dans des Banques anglophones Concept 1 Concept 2 Concept 3 Burnout (Burn out, burn-oput) Job satisfaction Nurs* Stress Motivation Medical Personnel ET (AND) OU (OR) Burnout AND Job satisfaction AND Nurs* Burnout AND Burnout AND Job satisfaction AND computer science personnel Motivation AND Nurs* Burnout* AND Motivation AND computer science personnel Stress AND Job satisfaction AND Nurs* Stress AND Job satisfaction AND computer science personnel Stress AND Motivation AND Nurs* Stress AND Motivation AND computer science Personnel

38 Elaborer une stratégie de recherche Formulation plus globale de la requête : un exemple Burnout ET satisfaction professionnelle ET informaticien* Burnout ET satisfaction au travail ET informaticien* Burnout ET satisfaction professionnelle ET personnel informatique Épuisement professionnel ET satisfaction professionnelle ET informaticien* Épuisement professionnel ET satisfaction au travail ET informaticien* Épuisement professionnel ET satisfaction au travail ET personnel informatique*

39 Elaborer une stratégie de recherche On peut aussi formuler sa recherche de façon plus complexe en faisant des ensembles (i.e. placer les concepts entre parenthèses): (Burnout OU épuisement professionnel) ET (satisfaction au travail OU satisfaction if i professionnelle) ET (informaticien* i i OU personnel informatique) (Burnout OR stress) AND (job satisfaction OR motivation) AND (nurs* OR computer science personnal)

40 Elaborer une stratégie de recherche Rechercher h une expression Par exemple, on peut essayer de trouver des informations sur les châles de cachemire, à l'exclusion des collections. La recherche sera transcrite ainsi : +châle +cachemire -collection En fait, de plus en plus, les moteurs de recherche proposent des menus déroulants qui écrivent les opérateurs à votre place. Pour y accéder, cherchez les boutons du genre «plus d'options», «recherche avancée».

41 Elaborer une stratégie de recherche Les opérateurs booléens Sont : ET, en anglais AND. OU, en anglais OR, à noter : de plus en plus d'outils de recherche considèrent que le ET est implicite... mais pas tous, vous le saurez en allant chercher dans les options de recherche avancée. SAUF, en anglais AND NOT ou NOT. Ces opérateurs peuvent être remplacés par les signes : + collé devant le terme de la recherche et qui est l'équivalant de ET. - collé devant le terme de la recherche et qui est l'équivalent de SAUF.

42 Elaborer une stratégie de recherche Écrire une recherche h complexe Par exemple, on peut essayer de trouver des informations sur les châles de cachemire, à l'exclusion des collections. La recherche sera transcrite ainsi : +châle +cachemire -collection En fait, de plus en plus, les moteurs de recherche proposent des menus déroulants qui écrivent les opérateurs à votre place. Pour y accéder, cherchez les boutons du genre «plus d' options», «recherche h avancée».

43 Elaborer une stratégie de recherche Majuscules ou minuscules (une histoire i de casse) Les avis sont partagés. Il faut savoir que, si de plus en plus d'outils de recherche ne sont pas sensibles à la casse, certains gardent la différence. Si vous tapez tout en minuscules ils chercheront toutes les occurrences, quelle que soit leur graphie. Si vous utilisez des majuscules, ils ne chercheront que celles strictement écrites comme vous l'avez tapé. Les résultats peuvent être totalement différents. Par contre, Google s'en fiche complètement, il en va de même pour les accents d'ailleurs ailleurs, pas sûre que ça soit vraiment un progrès...

44 44 Extraire l information Evaluer la pertinence de l'information Première règle, évidente et pourtant, ne pas se limiter à une seule source d'information. Bref agir comme on le fait lorsque l'on utilise des supports papier et, bien évidemment croiser les informations. Certes, il peut arriver qu'une seule personne ait raison contre tous, et il y a effectivement des exemples historiques. Mais le cas inverse se justifie le plus souvent.

45 45 Extraire l information Evaluer la pertinence de l'information Deuxième règle, vérifier les sources des avis convergents. S'ils ont tous été pillés au même endroit, ils n'ont pas de valeur renforçante. C'est en fait le gros problème d'internet où il est si facile de recourir au copier-coller pour ajouter du contenu sur un site alors qu'on ne sait pas trop quoi dire.

46 46 Extraire l information Evaluer la pertinence de l'information Troisième point : une information sérieuse est une information qui raconte son histoire. On peut donc savoir d'où elle provient, par qui elle a été émise et de quand elle date. S'il n'est pas possible de trouver ces éléments, méfiance Et si l'on sait d'où elle provient mais que la source est une entreprise dont l'objectif est de commercialiser un produit en rapport avec l'information, méfiance aussi car on peut douter de son objectivité et de sa neutralité.

47 47 Extraire l information Evaluer la pertinence de l'information Quatrième point : son origine. Il est évident que, par exemple, en astronomie, une information délivrée ou en provenance d'un observatoire sera beaucoup plus fiable qu'une information émise par un amateur, moins équipé et souvent moins «savant».

48 48 Extraire l information Evaluer la pertinence de l'information Cinquième point : les liens. Généralement un site soigneusement fait prête attention à ses liens. En outre certains types de liens peuvent donner l'orientation générale. Exemple en médecine : une information médicale est susceptible d'avoir plus de valeur lorsque le site lie vers des pages d'information médicale sérieuse que vers des pages de diverses pratiques médicales dites douces ou alternatives.

49 Extraire l information Evaluer la pertinence de l'information 49 Sixième point : ne pas hésiter à douter si l'information vous semble bizarre, même si elle est délivrée par un organisme envers lequel vous avez toute confiance. Septième point : la charte graphique du site n'a strictement aucune incidence sur la qualité de son contenu. Il convient donc de ne pas se laisser prendre à son esthétique, ni d' ailleurs de rejeter a priori le contenu sous prétexte que le contenant ne plaît pas.

50 Types de recherche 50 - Recherche globale. - Recherche d'une image, d'un son, d'une vidéo. - Recherche d'une personne. - Recherche d'information sur une société. - Recherche de données économiques, scientifiques.

51 Constituer une banque d outils 51 Méthode incrémentale d'approche

52 Rédiger et consigner les résultats de la recherche h 52