Présenté à. Institut des Sciences et Techniques de l'ingénieur d'angers. en vue de l obtention. du diplôme de Master Recherche. par.

Transcription

1 MEMOIRE Présenté à Institut des Sciences et Techniques de l'ingénieur d'angers (Laboratoire d'ingénierie des Systèmes Automatisés) en vue de l obtention du diplôme de Master Recherche par RAGOUBI Refka Exploration d une base de données via les techniques de réalité virtuelle Soutenu le 27 Juin 2008, devant la commission d examen : M. Paul Richard Co-encadrant M. Julien Blanchard Co-encadrant M. Fabrice Guillet Co-encadrant

2 Exploration d une base de données via les techniques de réalité virtuelle L extraction de connaissances à partir de données (ECD) s appuie sur le fait que l esprit humain traite facilement des informations visuelles et en extrait rapidement un grand nombre d informations et de connaissances. Cette technologie nécessite la visualisation de l information à l aide de la réalité virtuelle pour permettre à l utilisateur d interagir avec les données afin d extraire les règles. Le processus d interaction et de visualisation se fait à l aide d une interface graphique pour la conception d application générant d image 3D. Notre travail consiste à améliorer la visualisation et l interaction de l utilisateur à l aide des techniques de réalité virtuelle en utilisant la librairie OpenGL dans la programmation C++. The extraction of knowledge from data (EDC) is based on the fact that the human mind deals visual information easily and quickly extracts a large amount of information and knowledge. This technology requires the display of information using virtual reality to allow the user to interact with data in order to extract the rules. The process of interaction and display is done using a graphical interface for designing application generating 3D image. Our job is to improve the display and user interaction through virtual reality techniques using the library OpenGL programming in C + +.

3 Figure1. 1 : Graphe d items Figure1. 2 : Environnement de représentation des objets Figure1. 3 : Placement des objets sur l arène Figure1. 4 : Encodage graphique dans ARVis Figure 2. 1 : Interaction de l utilisateur avec le monde virtuel Figure 2. 2 : Interfaces d'interactions visuelles Figure 2. 3 : Principe de la réalité augmentée Figure 2. 4 : Différents types de menus 3D Figure 2. 5 : interface d affichage des hits après la sélection Figure 2. 6 : Différentes interactions avec la souris Figure 2. 7 : Différentes position de la caméra Figure 2. 8 : Interface d affichage des différentes vues Figure 2. 9 : Gants de données Figure 3. 1 : Insertion de lumière sur l objet Figure 3. 2 : Sauvegarde de l'historique de l'interaction Figure 3. 3 : Exploration du monde fils... 36

4 Chapitre Introduction Découverte des connaissances : problèmes fondamentaux Fouille et extraction de données visuelles : Présentation : Caractéristiques d un système de fouille de données : Encodage graphique : Outils de visualisation interactive : Présentation : Nuage de points : Méthodes visuelles à base de points d intérêts : Présentation : Interaction avec la visualisation : Méthodes visuelles avec ARVis : Méthodologie de Rule-Focusing : Description de l outil de visualisation ARVis : Principe de fonctionnement de l outil : L encodage graphique dans ARVis : Interaction avec la visualisation : Conclusion : Chapitre Introduction La réalité virtuelle Présentation Objectif de la réalité virtuelle dans la visualisation de l information La stéréoscopie : Vision en relief La réalité augmentée Principes de la réalité augmentée Apports des techniques de RV/RA Immersion pseudo-naturelle Techniques d interaction et immersion dans les environnements virtuels (EV) Présentation Les techniques d interactions en RV Classification des techniques Les tâches d interactions dans un monde de données : Les artifices d interactions en 3D La sélection et la manipulation Matériels dédiés à la sélection et la manipulation Conclusion... 27

5 Chapitre Introduction Le VRML (Virtual Reality Modeling Language) Présentation Le monde virtuel dans le VRML Création du monde virtuelle avec le VRML Interaction avec le VRML Conclusion L interface de programmation OpenGL (Open Graphics Library) Présentation Fonctionnalités d OpenGL Exploration graphique de la base de données avec OpenGL Le Picking Ray Casting Pointeur 3D Exploration de l objet Conclusion Conclusion... 36

6 Introduction Générale 1 Donner un sens à toute l information contenue dans les bases de données (BD) est un défi pour les chercheurs en informatique. La notion de découverte de connaissances dans les bases de données est en général appréciée sous sa forme brutale de fouille des données (FD, Data Mining ). Nous utiliserons ici l expression : extraction de connaissances à partir des données (ECD). L ECD a été définie comme l extraction, à partir des données, d une information implicite, inconnue auparavant et potentiellement utile, nous reviendrons sur cette définition dans le chapitre 1. Comme nous allons le voir, ceci signifie que ce domaine présente un intérêt commun pour les chercheurs en apprentissage symbolique automatique, automatisation de la découverte, statistiques, BD, acquisition de connaissances, visualisation des données et systèmes experts. Depuis des travaux comme ceux de Fisher sur la base de données des Iris (Fisher 1936), les représentations des données ont évolué grâce aux possibilités offertes par les machines. Dans de nombreux domaines d application, les bases de données ne sont plus seulement constituées de données numériques ou symboliques mais peuvent être également enrichies par des données sonores, des images, des vidéos, des adresses web, etc. L apparition de la réalité virtuelle a également permis des avancées importantes dans le domaine de la visualisation et de l interaction avec l utilisateur. Des mondes virtuels peuvent être construits en combinant un affichage avancé, des capteurs et des effecteurs. L affichage s effectue en temps réel et en 3D, bien souvent de manière stéréoscopique. Des capteurs 3D détectent les mouvements de l utilisateur. Des effecteurs à retour d effort simulent les effets des actions virtuelles. La réalité virtuelle rend l interaction homme-machine très intuitive. C est la raison pour laquelle nous étudions également comment elle peut être utilisée dans le «visual data mining». Dans ce rapport, nous nous intéressons aux deux points que nous venons d évoquer : aider un expert du domaine à percevoir des informations/connaissances dans des données multimédia avec l aide de la réalité virtuelle. La suite de ce rapport est organisée de la manière suivante : le chapitre 1 présente un état d art des travaux liés au visual data mining et

7 Introduction Générale 2 les différentes outils de visualisation interactive. Le chapitre 2 décrit l intérêt de la réalité virtuelle dans la fouille visuelle de données. Le chapitre 3 présente les logiciels utilisés pour l interaction de l utilisateur avec les données. Le chapitre 4 conclut sur les perspectives qui découlent de ce travail.

8 Chapitre 1: Sommaire : 1.1. Introduction Découverte des connaissances : problèmes fondamentaux Fouille et extraction de données visuelles : Présentation : Caractéristiques d un système de fouille de données : Encodage graphique : Outils de visualisation interactive : Présentation : Nuage de points : Méthodes visuelles à base de points d intérêts : Présentation : Interaction avec la visualisation : Méthodes visuelles avec ARVis : Méthodologie de Rule-Focusing : Description de l outil de visualisation ARVis : Principe de fonctionnement de l outil : L encodage graphique dans ARVis : Interaction avec la visualisation : Conclusion :... 13

9 Chapitre 1- Extraction de connaissances à partir des données Introduction Donner un sens à toute l information contenue dans les bases de données (BD) est un défi pour les chercheurs en informatique à cause de la taille gigantesque des données stocké qui ne se cesse de croître. La notion de découverte de connaissances dans les bases de données est en général appréciée sous sa forme brutale de fouille des données (FD, Data Mining ). Nous utiliserons ici l expression : extraction de connaissances à partir des données (ECD). L ECD a été définie comme l extraction, à partir des données, d une information implicite, inconnue auparavant et potentiellement utile [Fra92]. Ce domaine présente un intérêt commun pour les chercheurs en différents domaines : - En apprentissage symbolique automatique (ASA). - En automatisation de la découverte, statistiques, BD. - En acquisition de connaissances, visualisation des données et systèmes experts. Pour affronter ce défit les chercheurs on besoin de techniques d exploitations des données pour trouver des formes intéressantes qui aident à expliciter une information auparavant cachée dans les données Découverte des connaissances : problèmes fondamentaux - La représentation des connaissances. - La sélection des attributs. - La prise en compte des données manquantes, bruitées et rares. - L extraction de règles utiles. Ce processus n est pas une mission simple, mais un processus compliqué pour ce faite des chercheurs on adopté une méthode nommé fouille visuelle de données qui a permis d aider l utilisateur à exécuter ce processus de façon a réunir fiabilité, facilité et rapidité Fouille et extraction de données visuelles : Présentation : Le but essentiel de cette théorie consiste à impliquer plus fortement l utilisateur dans le processus de fouille et d extraction de donnée par des méthodes graphiques interactives dans un environnement de fouille et de mieux visualiser les données pour permettre à l expert de mieux extraire les règles.

10 Chapitre 1- Extraction de connaissances à partir des données 5 Les recherches réalisés jusqu'à maintenant mentionnent utiliser de nombreuses méthodes de visualisations pour l analyse exploratoire et la fouille de données.les méthodes de visualisations sont utilisés pour le prétraitement de données (sélection) ou le post-traitement de données (affichage des résultats). La fouille et l extraction visuelle de données est d une part la représentation des données sous formes de signes visuels permettant une interprétation direct facilitant l accomplissement de la tâche à réaliser par l expert en s appuyant sur le fait que l esprit humain traite facilement des informations visuelles et en extrait rapidement un grand nombre d information et de connaissances, et d autre part de permettre une interaction, souvent très intuitive, entre l expert et cette visualisation, prenant la forme généralement de «requêtes graphiques» Caractéristiques d un système de fouille de données : Un système de fouille de donnée se caractérise par : 1-L adaptabilité à tout types de données. 2-La représentation des connaissances par des objets (Encodage graphique). 3-Le raisonnement par classification. 4-L utilisation des connaissances lors des recherches. 5-L outils de visualisation des données et des résultats. 6-La réutilisation et le suivit des connaissances extraites Encodage graphique : L encodage graphique est l étape la plus importante pour la visualisation de l information : il s agit de réécrire les données sous forme d objet graphique qui peuvent prendre plusieurs dimensions de zéro à trois en associant à chaque variable dans les données une variable graphique. Concernant l encodage graphique, les interactions consistent à modifier les associations entre donnée et graphisme. Concernant l affichage et la transformation de la vue on peut citer quelque technique d interactions : - Le contrôle du point de vue, qui s effectue par translation, rotation, ou zoom, et peut être excentrique (l utilisateur déplace la représentation alors que le point de vue est fixe) ou bien égocentrique (l utilisateur déplace le point de vue alors que la représentation est fixe) ;

11 Chapitre 1- Extraction de connaissances à partir des données 6 - Les vues multiples qui permettent à l utilisateur d avoir une vue globale et une vue détaillée sur la même représentation Outils de visualisation interactive : Présentation : Les méthodes de fouille visuelle de données ("Visual data mining") tentent de résoudre les problèmes d interprétation et d interaction dans les processus de découverte de connaissances en faisant appel a des visualisations dynamiques et à des requêtes graphiques sur les données et connaissances représentées. Nous pouvons citer l exemple des visages de Chernoff [Che73] qui représentent des données sous la forme d icônes en s appuyant sur le fait que l esprit humain analyse facilement les ressemblances et différences entre visages. Nous pouvons citer également les "scatter plots" [Bec87] qui permettent d obtenir des vues multiples sur les données et d observer les données à l aide de techniques graphiques comme le "brushing" qui donne la possibilité de sélectionner des données dans une vue tout en soulignant ces mêmes données dans les autres vues. Ces méthodes apportent des nouveautés et poursuivent des objectifs qui sont prometteurs pour le domaine de la fouille de données : utilisation de la perception visuelle et souvent de la perception pré-attentive [Hea93], interaction dynamique avec les données, simplicité d utilisation, exploitation directe des résultats. Cependant, ces méthodes ont également des limites en ce qui concerne la fouille de données : les données visualisées sont le plus souvent numériques, les visualisations et leur manipulation nécessitent un apprentissage (comme c est le cas par exemple pour interpréter des graphiques de types "parallel coordinates" [Ins85]), l interaction dynamique demande beaucoup de ressources de calcul et doit donc faire appel à des algorithmes les plus rapides possible (mais qui doivent par ailleurs fournir le plus d information possible). Plusieurs travaux on été de données faite dans ce domaine et plusieurs méthodes on été proposé pour essayé de remédier aux problèmes de fouille. On peut citer la méthode de nuages de points, la méthode à base de points d intérêts utilisés pour la visualisation de données textuelles et la méthodologie de visualisation à l aide d ARVis (Association Rule Visualisation). Dans la suite on va expliquer le principe de ces trois méthodes.

12 Chapitre 1- Extraction de connaissances à partir des données Nuage de points : Une des représentations 3D les plus courantes en visualisation d information est le nuage de points 3D. Il s agit là d une description tridimensionnelle. Elle permet de visualiser, entre autres, si un lien existe entre trois facteurs. Sur ce type de graphique, on peut noter l existence de points marginaux (points isolés) sur lesquels on peut s interroger : s agit-il de points aberrants ou de points atypiques? Une liaison faible doit exister entre les montants les trois facteurs. En bref, ce type de graphique peut être enrichi en faisant figurer, par exemple, pour chaque point, une couleur différente. On peut complexifier encore davantage le graphique mais il ne faut pas perdre de vue l objectif d une telle représentation : comprendre en un coup d oeil ce qu il y a d informatif dans les données. La principale innovation du graphe de nuage de points 3D par rapport à la 2D est l utilisation du rendu volumique, une technique classique en visualisation scientifique (en particulier en imagerie médicale) qui consiste à n afficher que les voxels qui représentent une certaine densité de matière. Cette technique a été adaptée aux nuages de points 3D dans [Bec97], faisant de l opacité de chaque voxel une fonction de la densité de points Méthodes visuelles à base de points d intérêts : Présentation : Cette méthode est désignée par les termes "points d intérêts" ou "points de références". Il s agit dans cette méthode de positionner sur une surface, représentée par un disque, quelques icônes (POIs) relatifs aux attributs d une donnée et ensuite d afficher les icônes des données à des positions déterminées par la similarité entre les POIs et les données. Par exemple, cette visualisation a été utilisée comme méthode d affichage de documents issus d un moteur de recherche, facilitant la navigation dans l ensemble des documents retournés par une requête. Les POIs sélectionnés sont généralement des mots clés utilisés dans la requête et les données sont les documents se positionnant par rapport à ces mots-clés. Le choix des mots-clés dépend de la fréquence de leur occurrence dans les documents. Pour visualiser ces données, on utilise en général pour cela des techniques à base de ressorts et de forces, la force s exerçant entre un POI et une donnée étant proportionnelle à la similitude entre ce POI et cette donnée.

13 Chapitre 1- Extraction de connaissances à partir des données 8 Il existe des systèmes appelés VIBE [Kor91], ou un système rigoureusement simplifié de VIBE [Mor02], SQWID [McC97], Radviz [Hof99] ou encore la visualisation radiale du système Information NaD. Da Costa et G.vigator [Au00] utilisent ces principes. Parfois il est difficile de voir exactement vers quel point d intérêt est attirée une donnée. Dans ce cas ces systèmes permettent alors de supprimer et d ajouter des points d intérêt sur le disque pour permettre une meilleure représentation des données. Ce sont les principales opérations interactives proposées par ces méthodes. Radial [Au00] est une visualisation qui est très semblable au système VIBE [Kor91], à Radviz [Hof99] et à Lyberworld [Hem94]. Initialement, après extraction du résultat de la requête, Radial identifie une série de termes clés relatifs à ce résultat. Ensuite les 12 premiers termes les plus recensés dans l ensemble du résultat sont arrangés tout autour d un cercle. Il est possible de modifier la liste des termes affichés, le choix se faisant sur deux listes placées à gauche de l écran. Un nuage de points est alors affiché à l intérieur du cercle, un point représente une donnée. Il n est affiché que les données en rapport avec les mots-clés alignés autour du cercle. Un point est comme suspendu par des ressorts reliés aux mots-clés en rapport avec celui-ci. Il est donc impossible de déplacer un point en cliquant dessus, du fait des forces exercées par les ressorts. Par contre, en cliquant sur un point, les mots-clés en rapport avec ce point sont éclairés et une bulle affiche des informations sur cette donnée. Il est possible de déplacer les termes à l extérieur du cercle et ainsi de déplacer tous les nœuds des données en rapport avec ces termes. Ceci permet de faire un classement manuel des résultats en catégories. Tous ces systèmes ont montré que ce type de visualisation dynamique apporte un grand intérêt pour l utilisateur qui peut extraire lui-même de l information en toute simplicité. La rapidité d affichage couplée à la possibilité d interaction apportent un plus à ces méthodes. Par ailleurs, elles peuvent a priori visualiser des données de différentes natures comme des données symboliques ou numériques. A notre connaissance, ces méthodes à base de points d intérêt n ont pas encore été utilisées pour la fouille visuelle de données comme nous allons le présenter dans les sections qui suivent Interaction avec la visualisation : Pour être réellement efficace, la visualisation d information doit être interactive et permettre d affiner et de dynamiquement l affichage répondre aux requêtes graphiques de l utilisateur. Dans avec la visualisation des POIs, l utilisateur peut : - Pointer avec la souris sur les points.

14 Chapitre 1- Extraction de connaissances à partir des données 9 - Faire un "zoomer" sur une donnée par clic de la souris. Le zoom qui se déclenche alors effectue les opérations suivantes : il centre la donnée sur le centre du cercle, il agrandit la zone centrée sur cette donnée et repousse les autres données vers les bords de la visualisation. Ce zoom permet de grossir la vue tout en conservant l ensemble des données. - Enlever un POI. Cela s effectue très simplement en faisant glisser un POI à l intérieur du cercle. La vue est recalculée dynamiquement. Une transition dynamique et progressive est mise en place pour que l utilisateur puisse suivre le changement de représentation. - Annuler son action, ce qui a pour effet de remettre le POI sur le cercle. Ces fonctionnalités sont très importantes puisqu elles vont permettre à l utilisateur de redéfinir à volonté la représentation. De cette façon l utilisateur peut représenter des données "idéales", n existant pas réellement, et par rapport auxquelles l utilisateur voudrait positionner les données réelles Méthodes visuelles avec ARVis : Méthodologie de Rule-Focusing : La méthodologie de «Rule-Focusing» consiste à laissant à l'utilisateur la possibilité de naviguer librement dans le grand ensemble de règles en explorant des sous-ensembles limités de ces derniers au moyens d une représentation graphique des règles et de leur indices. Cette méthodologie a été mise en œuvre dans l outil de visualisation ARVis (Association Rule Visualisation) Description de l outil de visualisation ARVis : ARVis (Association Règle Visualisation) est un outil visuel d'extraction et de post-traitement de règles d association, il est basé sur l application de la méthodologie de «Rule-Focusing». Il a été développé initialement pour l entreprise PerformanSe SA afin de pouvoir trouver des connaissances pour l aide à la décision dans la gestion des ressources humaines. Il existe deux versions d ARVis : la première à été développé dans les travaux de thèse de Lehn sur la visualisation des règles d association par des graphes [Leh00] et qui n implémente la méthodologie de RF que partiellement. Ces travaux qui ont débouché sur la réalisation de l outil PerformanSe-FELIX. Dans PerformanSe-FELIX, l utilisateur visualise les règles par un graphe d itemsets (Figure 1-1).La deuxième version est l implémentation la plus complète de la méthodologie

15 Chapitre 1- Extraction de connaissances à partir des données 10 RF. Contrairement à la première version, elle propose de multiples relations de voisinage et utilise un indice descriptif d écart à l équilibre, un indice descriptif d écart à l indépendance, un indice statistique d écart à l équilibre, et un indice statistique d écart à l indépendance pour évaluer les règles (ce que la méthodologie RF préconise). C A B D E Figure1. 1 : Graphe d items Principe de fonctionnement de l outil : ARVis estime des règles à conclusion simples c est à dire ne comportant qu un seul item en conclusion. Ce choix est d'habitude effectué pour la recherche de règles d association. Spontanément les utilisateurs sont souvent intéressés par ces types de règles parce qu ils sont plus intelligibles que ceux qui contiennent des conclusions multiples L encodage graphique dans ARVis : Comme nous l avons déjà mentionné précédemment l encodage graphique sert à représenter graphiquement les différentes règles et met en évidence les meilleures d entre elles. Dans ARVis une représentation 3D a été choisie pour l implémenter dans la méthodologie RF. Il s agit d un paysage naturelle(ciel bleu et sol verdâtre) Contenant des entité sous forme de boule sphérique posé au dessus d une cône représentant l ensemble de règles extraites le tous contenu dans une arène sphérique transparente pour permettre de voire le monde des entité de l extérieur de l arène. Pour pouvoir appliquer la méthodologie de «Rule-Focusing» il a fallu opter pour un encodage graphique qui s appuie sur des positions et des tailles pour mettre en valeur les indices de règles. Dans un paysage de donnée, la position d un objet pourrait nous permettre d encoder deux indices.cependant, étant donné que des règles différentes peuvent présenter

16 Chapitre 1- Extraction de connaissances à partir des données 11 les mêmes valeurs d indice, il est nécessaire de laisser une dimension libre pour pouvoir répartir les objets dans l espace et éviter qu ils ne se chevauchent. Un seul indice de règle est donc encodé par la position dans ARVis. Afin de faciliter la perception de la profondeur dans l environnement 3D, les objets sont disposés sur une aréne sphérique transparente pour voir les entités de l extérieur (Figure1-2).Ce qui permet de détecter profondeur et hauteur : plus l objet est situé à l arrière de la scène et plus il est placé en hauteur (Figure 1-3). L arène nous permet également de réduire les occultations entre objets. L encodage graphique sera donc comme suit : - La position de l objet représente l intensité d implication, - La surface visible du cône représente la confiance, - La surface visible de la sphère représente le support, - La couleur de l objet représente une moyenne pondérée de confiance et de l intensité d implication, ce qui donne une idée synthétique de la qualité de la règle. L encodage graphique permet de mieux comprendre la classification des règles et permet aussi d éliminer les mauvaises règles, on aura la possibilité d accéder mieux aux bonnes règles. Dans la première version d ARVis, étant donné que la relation de voisinage combine spécialisation et généralisation, chaque paysage 3D contient deux arènes : une pour les règles spécifiques et une pour les règles générales. Afin de bien dissocier les deux types de règles, les deux arènes sont placées face à face et l utilisateur débute l exploration de chaque paysage entre les deux arènes. De plus, le paysage que l utilisateur peut faire apparaître en appliquant une relation de voisinage sur une règle est affiché en version rétrécie dans la sphère correspondante. Les entités graphiques qui représentent l ensemble des règles sont caractérisés par des paramètres variables qui permettent de les différenciés les unes des autres à savoir la taille de la boule, l hauteur du cône et la base du cône (Figure 1-4).

17 Chapitre 1- Extraction de connaissances à partir des données 12 Figure1. 2 : Environnement de représentation des objets Figure1. 3 : Placement des objets sur l arène Taille de la boule Hauteur du cône Base du cône Figure1. 4 : Encodage graphique dans ARVis

18 Chapitre 1- Extraction de connaissances à partir des données Interaction avec la visualisation : Les travaux faits à ce jour permettent à l utilisateur de visualiser et explorer les données avec le navigateur VRML et ça pour les applications destinées au web. En effet avec ARVis trois types d interactions sont possibles : - L utilisateur peut explorer le paysage de règles en se promenant librement à l aide des primitives de déplacement du navigateur VRML, il suffit de cliquer sur la sphère d un objet pour afficher le point de vus prédéfini pour la vision rapproché pour cet objet. - L utilisateur peut filtrer les règles et seules les règles qui respectent les seuils sont affichées. - L utilisateur peut naviguer d un sous-ensemble de règles à un autre. Un autre outil peut être utilisé et peut traiter le processus en améliorant la visualisation et l interaction avec l utilisateur il s agit de la bibliothèque OpenGL intégré dans la programmation en C++.Ces deux méthodes vont être expliqué dans la suite Conclusion : Dans ce chapitre nous avons présenté un nouveau domaine de recherche l ECD qui par rapport à des domaines parents, elle est caractérisée par le fait qu elle extrait des connaissances pertinentes intéressantes et intelligibles à partir des données en utilisant aussi des techniques inductives et où toutes données fournies par l utilisateur peuvent être fouillées en se basant sur le principe de la visualisation graphique et l interaction de l utilisateur qui jouent un rôle primordial dans la précision des données à la sortie. Son but est de mesurer la pertinence et l intelligibilité de la connaissance engendrée.

19 Chapitre 2 : Sommaire 2.1. Introduction La réalité virtuelle Présentation Objectif de la réalité virtuelle dans la visualisation de l information La stéréoscopie : Vision en relief La réalité augmentée Principes de la réalité augmentée Apports des techniques de RV/RA Immersion pseudo-naturelle Techniques d interaction et immersion dans les environnements virtuels (EV) Présentation Les techniques d interactions en RV Classification des techniques Les tâches d interactions dans un monde de données : Les artifices d interactions en 3D La sélection et la manipulation Matériels dédiés à la sélection et la manipulation Conclusion... 26

20 Chapitre 2-Extraction de données visuelles et la réalité virtuelle Introduction L analyse exploratoire et l extraction visuelle de données ne sont pas seulement un ensemble d outil mais une méthode d approcher le problème de l extraction de connaissances.ce domaine s est largement améliorer à l aide de la réalité virtuelle qui ne cesse d intervenir dans de différents domaines pour faciliter de plus en plus la tache de l utilisateur et de le faire intervenir pour optimiser les résultats. Dans ce chapitre on va étudier l intervention de la réalité virtuelle dans le domaine de l extraction et de la fouille de donnée visuelles en citant les différentes techniques d interactions utilisé pour ce domaine La réalité virtuelle Présentation C est une simulation informatique interactive immersive, visuelle, sonore et/ou haptique, d environnements réels ou imaginaires. C est aussi une simulation par ordinateur dans laquelle le graphisme est utilisé pour créer un monde qui semble réaliste. Le monde synthétisé n'est pas statique, il répond aux ordres de l'utilisateur (gestes, paroles ou toutes autres commandes extérieures). L utilisation de cette technologie est fondamentale pour toutes les visualisations en 3D car seule la vision stéréoscopique permet de percevoir les trois dimensions Objectif de la réalité virtuelle dans la visualisation de l information La réalité virtuelle permet d interagir en temps réel avec un environnement virtuel multisensoriel via des techniques et métaphores d interaction basées sur les capacités naturelles d action, de perception, et de communication de l homme (Fig. 2-1). Elle commence à être utilisée en visualisation d information, en représentant l information par des objets répartis dans un grand espace affiché en 3D, où elle permet à l utilisateur de naviguer en explorant les données volumineuses et multidimensionnelles aux moyens d interface visuelles immersives. Ces interfaces procurent un grand champ visuel généralement couplé à la vision stéréoscopique, elles peuvent être :

21 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 16 - un grand écran. - Une visiosalle, c est à dire un système de projection sur écran semi cylindrique ou sur trois écrans de taille d un mur (Fig. 2-2). - Un visiocube : c est une cabine cubique avec image projetée sur 4 ou six faces) (Fig. 2-2). - Un visiocasque : c est un casque équipé d un capteur de localisation et deux petits écrans à haute résolution pour la vision stéréoscopique (Fig. 2-2). Figure 2. 1 : Interaction de l utilisateur avec le monde virtuel visiosalle Visiocube visiocasque Figure 2. 2 : Interfaces d'interactions visuelles Les premières applications de la réalité virtuelle en visualisation de l information font également leur apparition.parmi elles on trouve : - VRGobi, un système d exploration de données multi-dimensionnelles en visiosalle [SCK+], il permet de projeter les données en un nuage de points 3D et naviguer au sein de ce nuage. - Le système TIDE [JL01], qui propose le même types de représentation que VRGobi mais il est basé sur une architecture de travail collaboratif qui permet à plusieurs utilisateurs d explorer ensemble les données tout en étant distant l un de l autre.

22 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 17 Plusieurs autres applications, en visualisation d information par la réalité virtuelle, ont été réalisées dans le but de faciliter d une façon ou d une autre l exploration et l extraction des données par l utilisateur pour aboutir à la fin à un système de classification et de décision adéquat et robuste La stéréoscopie : Vision en relief C est une perception bino-culaire de la profondeur et de la distance d un objet résultant du chevauchement des champs de vision des deux yeux (stéréoscopie avec lunette). Le relief du monde réel est perçu par l'homme grâce au décalage entre ses deux yeux. Chaque œil perçoit une image de ce qui l'entoure, mais ces deux images ne sont pas exactement identiques. Le cerveau se charge ensuite de fusionner les deux visions de façon à distinguer clairement la profondeur des objets regardés. La technique la plus simple pour que l'œil gauche ne perçoivent pas la même image que l'œil droit est d'utiliser deux filtres de couleur: un filtre rouge pour l'œil gauche et un filtre cyan (vert et bleu en quantité égale) pour l'œil droit, et de créer une image rouge et une image cyan. Après superposition de ces deux images, les pixels appartenant à la première seront rouges, ceux appartenant à la deuxième seront cyans et enfin ceux appartenant aux deux images seront de couleur blanche. Il faut ensuite trouver les bons paramètres pour calculer le décalage nécessaire entre les deux images. Pour ce faire, nous nous sommes inspirés des recherches de camarades travaillant sur les différentes techniques de stéréoscopie. L'écart entre les deux yeux est proportionnel à l'éloignement de l'objet La réalité augmentée D une manière générale, la réalité augmentée (AR ou RA) définit un mélange entre le réel et le virtuel. Des objets de synthèse sont insérés dans un décor réel, de la manière la plus réaliste possible. Cette technique fut d abord utilisée à des fins militaire dans les années 80, afin d afficher des informations virtuelles sur la visière des pilotes de chasse. C est plus tard, dans les années 90, que cette technologie connaît un grand essor. Les travaux sont alors menés parallèlement dans divers cadres applicatifs comme la médecine, l ingénierie et la production, l architecture, le design et les loisirs.

23 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 18 La réalité augmentée (RA) vise à ajouter des éléments virtuels au monde qui nous entoure, en offrant à l'utilisateur la possibilité d'être immergé dans cet environnement mixte. L objectif majeur de la réalité augmenté est d afficher dans le monde réel, des informations visuelles (texte ou image) ou objets / guides virtuels dont le but est dans certains cas de fournir à l opérateur une aide à la visualisation, ou à la réalisation de gestes techniques Principes de la réalité augmentée Lorsque l on veut insérer un objet virtuel dans une séquence réelle, il est nécessaire d incruster l objet avec le même point de vue que la caméra. Cependant, afin d obtenir un rendu réaliste, il faut aussi prendre en compte les éventuelles interactions entre la scène réelle et les objets virtuels ajoutés. Il faut ainsi gérer le problème d occultations, d ombres et de réflexions. Pour appliquer le principe de réalité augmenté on aura besoin d une Webcam utilisé comme périphérique d entrée pour détecter la paterne sur laquelle on va visualiser l objet. Paterne ou Marqueur Image réelle Image augmentée Figure 2. 3 : Principe de la réalité augmentée Apports des techniques de RV/RA La réalité virtuelle ainsi que la réalité augmentée on permit : - Une visualisation spatiale de données / phénomènes complexes. - Une immersion et navigation dans les données. - Interaction avec les données (point de vue, interrogation, etc.). - Une représentation multisensorielle des données. - Un Changement d échelle, dilatation / compression temporelle. - Une Représentation de données imperceptibles par l homme. - La prévention des risques (planification d intervention). - Une stabilité des conditions expérimentales (simulateurs chirurgicaux, etc.).

24 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 19 - La réduction des coûts Immersion pseudo-naturelle L immersion pseudo-naturelle de l utilisateur signifie que l utilisateur agit dans le monde virtuel comme il agirait dans le monde réel. Cette caractéristique de la réalité virtuelle à un grand intérêt dans la théorie de la fouille et de l extraction de donnée en se basant sur le faite que l esprit humain traite facilement les données visuelles et lui permet d extraire les règles plus facilement en agissant sur les données de base directement et en utilisant des différentes techniques d interactions de la réalité virtuelle Techniques d interaction et immersion dans les environnements virtuels (EV) Présentation La Réalité Virtuelle (RV) regroupe un ensemble de techniques et de technologies ayant pour objectif d immerger un ou plusieurs utilisateurs dans un environnement synthétique tridimensionnel ou Environnement Virtuel (EV), avec lequel ils pourront communiquer et interagir via des protocoles basés sur leurs facultés naturelles d expression, d action et de perception. Cette immersion implique l utilisation d interfaces spécifiques permettant de mesurer les mouvements de l opérateur et de stimuler ses organes sensoriels à travers la vision, l audition, le toucher, l olfaction, etc.. Malgré son importance majeure, l interaction 3D avec les EV est actuellement loin de procurer des solutions satisfaisantes car les processus d interaction sont souvent très limités. Ceci est d autant plus mal perçu par les utilisateurs que nous avons l habitude d évoluer dans un environnement très riche. L objectif de nos travaux est d augmenter l efficience des systèmes de réalité virtuelle et de contribuer à rendre leur utilisation plus intuitive par le développement de nouvelles techniques d interaction et un contrôle plus efficace des interfaces sensorielles et sensori-motrices Les techniques d interactions en RV L interaction 3D avec les EV est caractérisée par trois composantes : - L'interface motrice (périphérique d entrée). - L interface sensorielle (périphérique de sortie).

25 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 20 - La technique d interaction, qui constitue la couche logicielle et désigne la méthode ou le scénario d utilisation de l interface motrice utilisée dans l application. Les primitives de tâche identifiées sont: la navigation (déplacement de l utilisateur), la sélection / manipulation d objets, et le contrôle d application. Dans nos travaux, nous nous intéressons en particulier aux techniques de navigation et d interaction dans le cadre de la fouille visuelle de données Classification des techniques Les techniques d interaction de la réalité virtuelle peuvent être classées en trois modules : - Le premier s intéresse à la création des menus graphiques (2D, 3D, 3D Widgets et les Outils virtuels) (Fig. 2-4). - Le deuxième pour la commande vocale. - Le troisième vise l interaction gestuelle. Menu 3D en cube Menu 3D widgets Figure 2. 4 : Différents types de menus 3D Les tâches d interactions dans un monde de données : Si on veut parler de techniques d interaction pour désigner une méthode, une stratégie, un scénario d utilisation, permettant à l utilisateur d accomplir une tâche précise dans l univers virtuel plus précisément dans un monde de fouille de données. On peut citer : - La navigation: la première des attentes de l'utilisateur est de visualiser l'environnement virtuel (EV) depuis des points d'observation différents pour avoir une idée complète et pouvoir analyser et donner des conclusions et des solutions pour les problèmes de classification dans une base de données. - La focalisation (Zoom) : il s agit de faire un zoom sur un détail.

26 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 21 - Le filtrage : Cette tache d interaction consiste à filtrer activement, selon des critères définis par l utilisateur, la visualisation affichée pour mettre en relief des caractéristiques telles que des motifs ou des anomalies dans les données. Il y aura donc une visualisation meilleur, plus propice à l observation. - La sélection : ensuite, il souhaite pouvoir désigner les objets de l'ev et sélectionner ceux sur lesquels il désire exercer un traitement. - La manipulation : ce qu'il fait en manipulant les objets sélectionnés. - Le contrôle de l application : enfin, l utilisateur à besoin d émettre des commandes pour contrôler l application. - L extraction : le résultat de toutes les taches précédente c est l extraction.en effet une visualisation doit être extraite et sauvegardé pour la présenter ou l utiliser dans une autre application Les artifices d interactions en 3D L interaction est le problème majeur d une nouvelle forme d interface homme-machine. Pour ce faite plusieurs études on été faite dans le domaine d interaction avec les données dans un environnement virtuelle. Ces différentes recherches on aboutit à plusieurs artifices d interaction 2D et 3D La sélection et la manipulation L objectif majeur de la sélection et de la manipulation est de modifier l état d un objet ou d un ensemble de données 3D : la sélection s intéresse au pointage et à la validation alors que la manipulation traite les positions et les orientations principales des objets sélectionnées Le monde de la sélection permet de récupérer pour chaque objet qui est dans le volume de vision une information simple, appelé hit, accompagné du nom qu on aura donnée à cet objet ainsi que les coordonnées, les couleurs et la taille de l objet (Fig. 2-5).

27 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 22 Figure 2. 5 : interface d affichage des hits après la sélection Matériels dédiés à la sélection et la manipulation Plusieurs outils ont été développés pour permettre à l utilisateur d interagir avec les données par la sélection et la manipulation. Parmi ces outils on peu citer : La souris : Le mode de sélection avec la souris traite tous les objets de volumes de vision. Or son utilisation la plus courante est de cliquer sur un objet pour le choisir. C est le mécanise de picking qui consiste à restreindre le dessin à une région réduite du cadrage, généralement autour du pointeur de la souris, qui va permettre de retrouver par sélection ou par feed-back uniquement les objets qui sont «sous» le pointeur de la souris. A l aide du pointeur de la souris, l utilisateur peut : - Cliquer sur l objet pour sélectionner et se rapprocher (Zoom) (Fig. 2-6), - Cliquer pour s éloigner de l objet et se permettre de se focaliser sur un autre (Fig. 2-6). Certaines applications graphiques se contentent de dessiner des images statiques d objet 2D ou 3D, d autres permettent à l utilisateur d identifier des objets affichés à l écran puis de déplacer, modifier supprimer ou manipuler ces objets.

28 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 23 Vue avant la sélection Zoom sur l objet Retour en arrière Figure 2. 6 : Différentes interactions avec la souris Le clavier : A l aide de camera 3D implémentée dans l environnement virtuel l utilisateur pourra donc naviguer et manipuler les données graphiques à l aide des touches du clavier qui permettent de faire balader la camera dans tous les sens (gauche, droite, arrière, et devant (Fig. 2-7)) a fin d exploite au maximum les informations fournies.

29 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 24 Vue éloignée (arrière) Vue rapprochée Vue de gauche Vue de droite Vue à travers l arène transparente Figure 2. 7 : Différentes position de la caméra

30 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 25 Le but de l interaction avec la souris et de pouvoir conserver les périphériques auxquels les utilisateurs sont éventuellement habitués, et dont les ordinateurs sont équipés. Le menu graphique : C est l élément de base d'une interface graphique avec lequel un utilisateur peut interagir (par exemple une fenêtre ou une zone de texte). Ces composants sont généralement regroupés dans des boîtes à outils graphiques (appelée toolkit en anglais). Une fois assemblée par un programmeur, ces composants forment une interface graphique complète. Dans notre application, nous avons essayé de créer un menu qui nous permet de visualiser le monde de données dans différentes vues (dessus, droite et face) (Fig. 2-8) pour mieux interagir avec les objets. Figure 2. 8 : Interface d affichage des différentes vues

31 Chapitre 2-Extraction de données visuelles et la réalité virtuelle 26 Les gants de données : Un gant de données (ou gant électronique, gant numérique, gant sensitif) est un gant truffé de capteurs (Fig. 2-9), qui permet à un utilisateur de saisir presque naturellement un objet virtuel et de le manipuler, en numérisant en temps réel les mouvements de la main. Il est utilisé pour l'interface homme-machine dans la réalité virtuelle. Il fournit, avec une fréquence d'échantillonnage de plusieurs centaines de Hertz, les coordonnées angulaires des différentes phalanges. Figure 2. 9 : Gants de données 2.7. Conclusion Dans ce chapitre, nous avons présenté le domaine de la réalité virtuelle et son application dans la fouille et l extraction de connaissances à partir de données à travers différentes méthodes de visualisation et plusieurs outils d interactions. Les résultats trouvés jusqu'à maintenant s avèrent intéressantes, mais limités pour certaines applications de fouille de données et ça dépend du langage de programmation utilisé (VRML, JAVA3D,.). Pour ce fait nous allons proposer dans le prochain chapitre d utiliser le langage de programmation C++ en intégrant la bibliothèque graphique d OpenGL pour essayer d améliorer l interaction de l utilisateur avec les données.

32 Chapitre 3 : Sommaire 3.1. Introduction Le VRML (Virtual Reality Modeling Language) Présentation Le monde virtuel dans le VRML Création du monde virtuelle avec le VRML Interaction avec le VRML Conclusion L interface de programmation OpenGL (Open Graphics Library) Présentation Fonctionnalités d OpenGL Exploration graphique de la base de données avec OpenGL Le Picking Ray Casting Pointeur 3D Exploration de l objet Conclusion Conclusion... 36

33 Chapitre 3- Logiciels d interaction 3D & la visualisation de données Introduction Dans ce chapitre, nous allons entamer la phase d étude logiciel et des concepts utiles. Plusieurs travaux réalisés jusqu a maintenant dans le domaine de la fouille et l extraction de connaissances visuelles utilise des logiciels dédiés à des applications web. Malgré l apport de ces logiciels pour la fouille et l extraction de données, leur application reste limitée. Pour ce fait, nous avons choisie d utiliser le logiciel de programmation C++ en intégrant la bibliothèque graphique OpenGL. Cet outil a prouvé son efficacité dans certaines applications certes dans l ECD visuelles qui va être prouvés par la suite Le VRML (Virtual Reality Modeling Language) Présentation Le Virtual Reality Modeling Language (abrégé en VRML) ou Virtual Reality Markup Language est un langage de description d'univers virtuels en 3 dimensions. Ce langage interprété est une norme internationale ISO et les fichiers VRML ont habituellement pour extension «.wrl». En fait, c'est à proprement parler un langage de présentation et non de programmation, puisque comme pour le langage HTML par exemple, un fichier VRML ne contient généralement pas une suite d'instructions mais plutôt les informations permettant au visionneur d'afficher ensuite les éléments (formes, senseurs, lumières, etc). Présenté lors de la World Wide Web Conference de 1994, VRML n'est pas l'œuvre d'un unique programmeur, mais plutôt le résultat de la collaboration de plusieurs professionnels de la 3D, dont entre autres Mark Pesce, Tony Parisi, Gavin Bell (Silicon Graphics) et Paul Strauss (Silicon Graphics). Le but premier de ce langage est de permettre la représentation d'univers interactifs 3D virtuels. Les fichiers.wrl sont des fichiers texte décrivant les scènes virtuelles à l'aide du langage VRML. Les fichiers.wrl, qui peuvent être stockés localement sur un ordinateur ou téléchargés depuis un serveur web, sont visualisés à l'aide d'un visionneur, qui est soit un plugin ajouté au navigateur web ou encore un logiciel autonome indépendant du navigateur web, qui est installé sur l'ordinateur de l'utilisateur. Les programmes VRML peuvent décrire des formes simples (points, lignes, polygones) ou complexes (sphères, cubes, cônes, cylindres...), du texte, des images, des animations, des éclairages, des sons, des hyperliens, ainsi que leur agencement dans l'espace, leur texture, leur couleur, leur matériau...

34 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 29 Une fois le programme interprété par le visionneur, le monde virtuel s'affiche à l'écran, en 3D; la caméra (c'est-à-dire le point de vue) se positionne à l'endroit prévu de la scène, et l'utilisateur est alors libre de se déplacer dans ce monde (généralement à l'aide du clavier ou de la souris) et d'interagir avec les différents objets présents. Les "sensors" de proximité permettent de lancer une action lors du passage à proximité d'un objet, les "sensors" de touché permettent de déclencher, par exemple, avec un clique sur l'objet l'ouverture d'un autre monde virtuel... En 1996, une nouvelle mouture du langage fut présentée : VRML 2.0 (par la suite rebaptisée VRML97). Parmi les améliorations par rapport à la version 1.0, on peut citer : - Animation des objets: les mondes créés ne sont plus condamnés à demeurer statiques. - Interaction avec les objets : chaque objet du monde peut réagir à des signaux, ces signaux pouvant être générés par l'utilisateur (clavier, souris...) ou par d'autres objets du même monde. - Création de scripts d'animation (en javascript/ecmascript) inclus aux fichiers.wrl - Gestion des sons en 3D. - Extrusions d'objets. - Effets de brouillard. - Utilisation d'une séquence vidéo en tant que texture d'un objet. - création de prototypes d'objets En complément des informations de base concernant les différents objets de la scène 3D, le VRML v2 possède un véritable langage de programmation interne appelé VrmlScript, dont la syntaxe est similaire au JavaScript. Il permet notamment de manipuler les objets (nœuds) de la scène VRML (de type SFNode), ou d'autres types de données propres au VRML comme les SFTime, SFColor, ou encore SFRotation Le monde virtuel dans le VRML Dans ARVis la méthode de visualisation déjà présenté dans le chapitre 1, génère les paysages 3D en VRML (Virtual Reality Modeling Language).A l origine, VRML était destiné à devenir le standard de diffusion de scènes 3D sur le web. Ceci ne s est pas réalisé puisque le langage n a jamais réussi à s imposer face aux développements propriétaires. Cependant, VRML n en reste pas moins aujourd hui le format universel pour les contenus 3D, implémenté par tous les logiciels de création et d édition 3D. La dernière version du langage

35 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 30 (dialecte XML nommé X3D ou extensible 3D, normalisé en 2004) est évolutive, c est-à-dire qu elle accepte l ajout de nouvelles fonctionnalités. Elle est intégrée à la norme audio/vidéo MPEG-4, qui supporte ainsi les contenus 3D. Les mondes virtuels écrits en VRML peuvent être affichés et explorés au moyen d outils de visualisation appelés navigateurs VRML. Ces outils disposent de primitives de navigation standards (marcher, voler, examiner, etc.), activables à la souris ou au clavier, qui modifient le point de vue de l utilisateur sur le monde virtuel. Dans ARVis, le navigateur VRML est un module d extension (plug-in) qui équipe le navigateur web sur le poste client. Pour chaque paysage à visualiser, ARVis génère le code VRML : - du sol, - du ciel, - d une source de lumière, - de l arène (ou des arènes pour la 1 er version d ARVis), - des objets graphiques (cône et sphère) accompagnés de leurs étiquettes textuelles, - dans ARVis 1.2, des points de vue prédéfinis pour la vision globale de l arène et pour la vision rapprochée de chaque objet Création du monde virtuelle avec le VRML Un fichier VRML définit un monde quadri-dimensionnel (représentation graphique en trois dimensions et gestion du temps); l'utilisateur y est représenté par un avatar, objet qui le caractérise dans ce monde (encombrement, perception du monde,...), et le visualiseur est chargé de gérer les interactions utilisateur avatar-monde VRML, comme par exemple la vue du monde à l'écran en fonction des déplacements de l'avatar commandés à la souris ou les interactions avec les objets de la scène, etc. L'aspect d'une scène peut aller du plus simple (filaire, couleurs unies) à des scènes texturées (images mappées), ou précalculées en radiosité, la qualité du rendu dépendra ensuite des possibilités de l'outil de visualisation. Dans un fichier VRML, il est possible d'utiliser, tout comme dans le langage HTML, des hyperliens vers une position différente de la scène, une autre scène VRML, vers des pages HTML, du son, de la vidéo, etc.vrml sait gérer du texte, fonctionnalité intéressante dans le cas du menu d'un site Web en 3D par exemple, le son spatial, il peut aussi intégrer des images ou de la vidéo.

36 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 31 Pour visualiser une scène VRML et pouvoir explorer cet univers virtuel, l'utilisateur doit posséder un visualiseur VRML. Un visualiseur VRML (VRML browser), est un logiciel qui traduit un fichier VRML en une représentation 3D et calcule les images de la scène vue par l'utilisateur. Il présente une interface de navigation plus ou moins élaborée permettant de définir un certain nombre de paramètres comme la qualité du rendu, le mode de navigation, la sélection d'un point de vue, etc. Les données fournies par un serveur, via l'internet sont reçues par la machine cliente. La scène VRML devra être affichée et répondre aux caractéristiques qu'a souhaité mettre en oeuvre son auteur : c'est le rôle du visualiseur (VRML browser), il peut fonctionner en conavigateur (plugin) ou de manière autonome par rapport au logiciel de navigation. Les données sont chargées par le logiciel de navigation, qui reconnaît le format MIME correspondant à VRML et va faire appel à un co-navigateur (plugin), pour afficher la scène. Un plugin est un programme modulaire qui se greffe à un navigateur Internet (Netscape Navigator ou Internet Explorer étant, à l'heure actuelle, les plus utilisés), l'affichage se fait dans une zone contenue dans une page HTML. Les logiciels autonomes peuvent aller chercher les données directement sur l'internet et peuvent être lancés comme visualiseur externe au logiciel de navigation, cette solution est de moins en moins utilisée. Les fichiers créés ou sauvegardés en local pourront être visualisés ultérieurement dans les mêmes conditions. Dans nos différentes applications, nous utiliserons le logiciel de navigation Netscape 4.5 et le co-navigateur VRML développé par Silicon Graphics puis CosmoSoftware : CosmoPlayer 2.1 seule solution à fonctionner à la fois sur Mac, PC et stations de travail SGI. Par ailleurs CosmoPlayer est le visualiseur le plus respectueux de la norme VRML et permet d'utiliser la technique de l'eai (pilotage de la scène VRML par une applet Java) Interaction avec le VRML Le VRML nous présente plusieurs modes d interaction avec le monde virtuelles. Il est utile de préciser quels sont les différents types de navigation proposés par les navigateurs compatibles VRML appliqué à la méthode de visualisation ARVis : - L utilisateur peut explorer les paysages de règles soit en se promenant librement à l aide des primitives de déplacement du navigateur VRML, soit en utilisant les points de vue prédéfinis. Il suffit de cliquer sur la sphère d un objet pour afficher le point de vue prédéfini pour la vision rapprochée de cet objet. Concrètement, ceci revient à se déplacer automatiquement dans le paysage jusqu à se retrouver face à l objet.

37 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 32 - L utilisateur peut filtrer les règles en modifiant les seuils minimaux et maximaux sur les indices de règle au moyen d une interface HTML séparée. Seules les règles qui respectent les seuils sont affichées. Ceci a pour effet de faire apparaître et disparaître des objets dans le paysage. - L utilisateur peut naviguer d un sous-ensemble de règles à un autre en appliquant les relations de voisinage. Dans la 1ère version d ARVis, il suffit de cliquer sur le cône d un objet pour enclencher la relation de voisinage sur la règle correspondante. Dans la 2ème version d ARVis, le clique sur le cône d un objet affiche un menu proposant les huit relations de voisinage.en appliquant une relation de voisinage, le sous-ensemble de règles courant est remplacé par un nouveau sous-ensemble généré par le module d extraction d ARVis. Visuellement, le paysage courant est remplacé par un nouveau paysage, ce qui donne l impression de se déplacer virtuellement au sein de l ensemble total des règles. Une fonction d annulation permet de revenir aux paysages précédemment visités. En outre, pour débuter ou recommencer une exploration de règles, l utilisateur choisit un premier sous-ensemble de règles à visiter à l aide d une interface d initialisation qui consiste en une série de pages HTML dynamiques générées par le script Perl. Cette interface permet de construire l itemset de son choix et d afficher le paysage des règles qui contiennent cet itemset en prémisse, ou en conclusion, ou bien globalement dans les deux. L interface permet également d indiquer la base de données et la table de données à étudier Conclusion Le navigateur VRML peut présenter quelques problèmes dans la visualisation de l environnement virtuel ainsi que dans l interaction de l utilisateur avec le monde virtuel. En effet, les moyens d interactions dans ce type de logiciel sont limités à la souris et au clavier, alors que avec d autres on aura la possibilité tous les techniques d interaction de la réalité virtuelle. On peut citer le C++ en intégrant la bibliothèque graphique OpenGL L interface de programmation OpenGL (Open Graphics Library) Présentation C est une spécification qui définit une API multi-plateforme pour la conception d'applications générant des images 3D (mais également 2D) qui s utilise principalement en

38 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 33 C++. Elle utilise en interne les représentations de la géométrie projective pour éviter toute situation faisant intervenir des infinis. Originalement développé pour les stations graphiques SGI, l'aspect ouvert d'opengl lui a valu d'être porté sur la plupart des plates-formes et des systèmes d'exploitation. L'interface regroupe environ 250 fonctions différentes qui peuvent être utilisées pour afficher des scènes tridimensionnelles complexes à partir de simples primitives géométriques. Du fait de son ouverture, de sa souplesse d'utilisation et de sa disponibilité sur toutes les platesformes, elle est utilisée par la majorité des applications scientifiques, industrielles ou artistiques 3D et certaines applications 2D vectorielles. Cette bibliothèque est également populaire dans l'industrie du jeu vidéo. Plusieurs bibliothèques sont développées à partir d OpenGL afin d apporter des fonctionnalités non-disponibles dans la bibliothèque OpenGL, on note la bibliothèque : - GLU (OpenGL Utility Library): décomposition de polygones concaves, description et affichage des courbes et des surfaces, définition de surfaces quadriques (primitive graphiques complexes, position de la caméra, projections,...). - GLUT (OpenGL Utility Toolkit) : jeu de routines pour la gestion des fenêtres OpenGL et les interactions avec le système d exploitation indépendamment de celui-ci et du gestionnaire de fenêtres. - GLUI (OpenGL User Interface Library): bibliothèque en C++ qui permet de compléter la bibliothèque de gestion de fenêtres OpenGL, GLUT (boutons, les cases à cocher,...) Fonctionnalités d OpenGL OpenGL dispose de nombreuses fonctions que vous pourrez "facilement" utiliser, notamment la gestion de : - La caméra - La rotation 3D des objets - Le remplissage des faces - Les textures - La lumière (Fig. 3-1)

39 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 34 Reflet de la lumière sur l objet Figure 3. 1 : Insertion de lumière sur l objet 3.4. Exploration graphique de la base de données avec OpenGL L exploration et l extraction de connaissances à partir d une base de donnée graphique se fait à l aide d outils d interactions. Pour l interface OpenGL plusieurs types d interaction sont possibles permettant une navigation et une manipulation en temps réelle avec l objet. On cite : Le Picking Il s'agit de passer en mode de Sélection, avec un volume de vision restreint à une région autour du pointeur de la souris.sachant que le pointeur de la souris est en coordonnées image, Les principales étapes pour réaliser le picking sont : - Spécifier à l'aide de glselectbuffer(...) le tableau qui va recevoir les enregistrements de hits. - Entrer en mode Sélection, par glrendermode(gl_select) - Initialiser la pile des noms par glinitnames( ) et glpushname( ). - Définir le volume de vision concerné par la sélection, qui peut être différent du volume de vision pour le rendu de la scène. - Dessiner la scène, en ajoutant les commandes pour nommer les primitives significatives. - Quitter le mode Sélection et traiter les données de sélection retournées (les enregistrements de hits). Généralement, le picking est déclenché par un clic de la souris, et les coordonnées (x, y) sont celles du pointeur et les hits seront affiché sur une fenêtre (Fig. 3-2).

40 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 35 Nous remarquons que cette méthode d interaction utile et facile à intégrer dans le but d interagir avec les données et extraire les règles. Picking avec la souris Enregistrement des hits Figure 3. 2 : Sauvegarde de l'historique de l'interaction Ray Casting Cette méthode consiste à sélectionner l'objet à l'aide d'un rayon virtuel. Ce dernier peut être émis par la main de l utilisateur, un pointeur,...on test alors l'intersection de ce rayon avec les objets de la scène. S il y a intersection, l'objet est marqué comme sélectionné Pointeur 3D Ce curseur est "attaché" à la main de l'utilisateur. Le curseur peut être une image virtuelle de la main ("Virtual hand"-rv-), ou alors un pointeur réel dont la position est suivie au cours du temps pour permettre l'interaction avec des objets virtuels. Avec un mouvement naturel de la main, on peut placer le curseur sur l'objet à sélectionner (en le touchant). Le retour peut être aussi bien graphique, sonore, ou haptique, pour signaler à l'utilisateur que l'objet est candidat Exploration de l objet Après la selection de l objet via Picking, si cet objet a un sous ensemble (cluster) nous pouvons explorer l objet ce à dire entré à l interieur (Fig. 3-6).

41 Chapitre 3- Logiciels d interaction 3D & la visualisation de données 36 Sélectionner l objet Menu pour entrer au monde fils Sous ensemble (monde fils) Figure 3. 3 : Exploration du monde fils Conclusion L interface graphique OpenGL nous présente plusieurs modes de sélection et d interaction avec le monde virtuelles ainsi que la possibilité d ajouter des effets d éclairage, de brouillard, et de transparence à l environnement. Le plus important c est la possibilité d interagir en temps réel Conclusion Au cours de ce chapitre nous avons présenté les deux outils logiciels de représentation 3D de la base de données à partir d un fichier XML pour le VRML et d un fichier TXT pour l OpenGL. Nous avons pu constater qu avec l OpenGL les moyens d interactions et de visualisations sont plus variés et plus fiable surtout si on intègre d autres techniques d interactions tels que le gant de données et la wiimot pour l interaction et le casque pour la visualisation.

42 Conclusions & Perspectives 37 Les outils de fouille de données produisent des règles d association en si grandes quantités que l utilisateur ne peut généralement pas les exploiter directement. Pour identifier des connaissances intéressantes, il est nécessaire à la sortie des algorithmes de procéder à un post-traitement, consistant en une seconde opération de fouille. Alors que la fouille de données est réalisée automatiquement par des algorithmes combinatoires, la fouille de règles est laissée à la charge de l utilisateur. En effet, plusieurs recherches ont été faite dans ce domaine pour essayer de faciliter la tache de l utilisateur d une part et de s assurer de la fiabilité des règles extraites d une autre part. Nous avons essayé, au cours de ce travail, d intégrer d autres moyens d interactions qui peuvent améliorer les performances sur une interface graphique à l aide de OpenGL qui a prouvé son efficacité par rapport à d autre logiciel tel que le VRML qui est destinées plus à la navigation web qui utilise que la souris et le clavier alors que l OpenGL utilise d autre moyens comme le gant de données, le casque immersif, la wiimot, etc... D autres méthodes d immersions peuvent être intégré pour la visualisation et pour l interaction : - La stéréoscopie qui permet à l utilisateur une totale immersion et pourrais lui faciliter de plus la tache de l interaction des règles à partir des données, - La réalité augmentée, - Gant de données, - Wiimot, Le domaine d extraction de connaissances à partir de données présente toujours un grand défi pour les chercheurs vue le volume énorme des données qui ne cesse d augmenter d une façon proportionnel aux développements dans le monde, pour ce fait on à recours à trouver des solutions efficaces pour remédier à tous les problèmes.

43 [BGRB03] J. Blanchard, F. Guillet, F. Rantière & H. Briand «Vers une représentation graphique en réalité virtuelle pour la fouille interactive de règles d association Revue des Sciences et technologies de l Information 17 (2003), no. 1-3, p , Actes des Journées Extraction et Gestion des Connaissances (EGC)2003. [BGRB05] J.Blanchard «Un système de visualisation pour l extraction, l évaluation, et l exploration interactive des règles d association» Thèse de doctorat, Université de Nantes, 2005 [FPSM91] W. J. Frawley, G. Piatetsky-Shapiro & C. J. Matheus «Knowledge discovery in databases : an overview», in Knowledge Discovery in Databases (G. [Leh00] Piatetsky-Shapiro & W. J. Frawley, éds.), AAAI/MIT Press, 1991, p R. Lehn «Un système interactif de visualisation et de fouille de règles pour l extraction de connaissances dans les bases de données», Thèse de doctorat, Université de Nantes, 2000 [SCK+97] J. Symanzik, D. Cook, B. D. Kohlmeyer, U. Lechner & C. Cruz-Neira «Dynamic statistical graphics in the C2 virtual reality environment», Computing Science and Statistics 29 (1997), no. 2, p