Recherche flexible d information par filtrage flou qualitatif

Transcription

1 N o d ordre : 5158 THÈSE Présentée devant l Université Paul Sabatier de Toulouse en vue de l obtention du Doctorat de l Université Paul Sabatier Spécialité Informatique Par Yannick Loiseau Recherche flexible d information par filtrage flou qualitatif Soutenue le 16/12/2004 devant le jury composé de : M. Boughanem Mohand Professeur à l Université P. Sabatier, Toulouse directeur de thèse Mme Bruandet Marie-France Professeur à l Université J. Fourier, Grenoble examinatrice M. Chrisment Claude Professeur à l Université P. Sabatier, Toulouse président du jury M. Gallinari Patrick Professeur à l Université Paris 6 rapporteur M. Mouaddib Noureddine Professeur à l Université de Nantes rapporteur M. Prade Henri Dr. CNRS, Université P. Sabatier, Toulouse directeur de thèse Institut de recherche en informatique de Toulouse Centre National de la Recherche Scientifique - Institut National Polytechnique - Université Paul Sabatier Université Paul Sabatier, 118 Route de Narbonne, Toulouse Cedex 4, Tel : +33 (0)

2

3 Remerciements Je tiens à remercier très sincèrement messieurs les professeurs Claude Chrisment et Gilles Zurfluh, responsables de l équipe SIG, et monsieur Henri Prade, Dr. CNRS, responsable de l équipe RDPMP pour m avoir accueilli en son sein afin de mener à bien mes travaux de recherche. Je tiens à exprimer ma gratitude aux membres du jury pour l honneur qu ils m ont fait en acceptant de juger mon travail. Je remercie particulièrement messieurs Patrick Gallinari, professeur à l Université Paris 6, et Noureddine Mouaddib, professeur à l Université de Nantes, d avoir accepté d être les rapporteurs de cette thèse et pour leurs remarques constructives. Merci également à Marie-France Bruandet, professeur à l Université J. Fourier de Grenoble, pour avoir accepté d être examinatrice de mon travail en participant à ce jury. Je remercie aussi très sincèrement Mohand Boughanem, professeur et Henri Prade, Dr. CNRS, tous deux de l Université P. Sabatier de Toulouse, qui ont dirigés cette thèse. Je leur suis reconnaissant pour leur disponibilité et leur confiance. Leurs critiques et leur soutien m ont été précieux tout au long de ce travail. Mes remerciements vont également à Gabriella Pasi, docteur au CNR-ITC de Milan, avec qui la collaboration a été des plus enrichissantes. Merci à ceux qui ont partagé mon bureau pendant ces années, Kais, Faiza, Anis, et plus particulièrement Hamid, pour l aide et les encouragements mutuels au cours de cette thèse. Je remercie également tous les membres des équipes SIG et RDPMP de l Irit, qui m ont accueilli pendant ces années de thèse, ainsi que tous les membres du personnel du laboratoire. Je remercie aussi les personnes que j ai rencontrées pendant mes enseignements, pour les conseils sur les cours et le co-voiturage lors des déplacements. 3

4 4 Merci aux amis qui ont été là, Guilhem, Cyrille, pour la bonne humeur qu ils m ont communiquée. Je remercie Amélie du fond du cœur, pour ses encouragements et sa tendresse. Elle a su être présente pour moi, et m a toujours soutenu et encouragé, même pendant son absence. Je remercie enfin ma famille pour les corrections tardives et tout le soutien qu ils ont su m apporter.

5 Table des matières Introduction 15 1 Bases de données floues Introduction Concepts fondamentaux des bases de données Modèle relationnel Clés Algèbre relationnelle et manipulation des données Opérations ensemblistes Opérations relationnelles Requêtes Conclusion Bases de données floues Requêtes flexibles Modélisation de requêtes flexibles sur des données classiques Algèbre relationnelle pour relations floues Incertitude et incomplétude des données Approches par logiques multivaluées Approche possibiliste Similarité et modèle relationnel Unicité et redondance

6 6 TABLE DES MATIÈRES Évaluation de requêtes Modèles de proximité Conclusion Recherche d information Introduction Recherche d information classique Présentation des SRI Formulation des requêtes Indexation Indexation manuelle Indexation automatique Correspondance requête - documents Modèles de systèmes de recherche d information Modèle booléen Modèle vectoriel Modèle LSI Modèle probabiliste Réseaux d inférence bayésiens Modèle connexionniste Modèles de langues Reformulation de requêtes Bouclage de pertinence Utilisation de ressources linguistiques Croisement de langues en recherche d information Approches de la traduction des requêtes Désambiguïsation des traductions Évaluation des performances des systèmes de recherche d information 63

7 TABLE DES MATIÈRES Précision et rappel Précision à x Autres mesures Collections de test Conclusion Recherche d information floue Indexation floue Indexation de documents non structurés Représentation et indexation de documents structurés Requêtes floues Requêtes pondérées Opérateurs d agrégation Amélioration du résultat par les associations floues Thésaurus flou Classification floue Conclusion Filtrage qualitatif symbolique Introduction Le filtrage flou Filtrage qualitatif Évaluation de requêtes par ontologies possibilistes Modèle d ontologies possibilistes Appariement possibiliste entre requête et information Autres approches utilisant des ontologies Conclusion

8 8 TABLE DES MATIÈRES 4 Filtrage qualitatif et Bases de données Introduction Interrogation des bases de données Évaluation sur les attributs linguistiques Évaluation sur les attributs numériques Évaluation mixte Expérimentation et résultats Description de la plate-forme Preti Ontologies utilisées Terme montagne Terme littoral Résultats Conclusion Recherche d info. par filtrage qualitatif Introduction Modèle Indexation possibiliste Une ontologie possibiliste basée sur WordNet Extension à l information multilingue Évaluation de requêtes Illustration de l évaluation sur un exemple multilingue Illustration sur une base de titres Illustration sur une base de titres Description des données Description des requêtes Évaluation et résultats Conclusion

9 TABLE DES MATIÈRES 9 6 Pertinence en RI par méthodes multicritères Introduction À propos des méthodes multicritères Agrégation multicritères Raffinements de l agrégation par le minimum Expérimentation et résultats Présentation de la collection Présentation du système Mercure Adaptation au modèle possibiliste Évaluations et Résultats Évaluation de requêtes mono-terme Évaluation de requêtes multi-termes Évaluation des méthodes de tri Conclusion Conclusion et perspectives 153 Bibliographie 156 A Théorie des ensembles flous 171 A.1 Ensembles flous A.2 Imprécision et incertitude B Projet e-court 177 C Ressources de l exemple des titres 179 C.1 Liste des titres C.2 Relations de l ontologie définies manuellement

10 10 TABLE DES MATIÈRES

11 Table des figures 1.1 Exemple de représentation de valeurs mal connues par des possibilités Exemple de calcul des degrés de la condition modéré sur un prix imprécis Processus général de la recherche d information Exemple de réseau Bayésien Exemple de réseau de neurones Ontologie des hébergements Ontologie des lieux Distributions des prix Attributs linguistiques pour les prix Distribution du terme montagne Répartition du terme montagne de seuils 25 75% Autres types de répartition pour l altitude Indexation d un document dans l ontologie Liaison entre un document et un synset Structure de l ontologie multilingue Exemple d ontologie multilingue Ontologies pour les titres d articles Poids de l agrégation par OWmin

12 12 TABLE DES FIGURES 6.2 Relation entre w et (Π, N) selon α Variation de la précision en fonction de α Répartition des termes selon leur poids

13 Liste des tableaux 1.1 Exemple de relations sur les hôtels Exemple de base de données de lieux de vacances Résultat de l évaluation de R Résultat de l évaluation de R Résultat de l évaluation de R R Données d expérimentation de Preti Résultats de la requête sur corbieres Résultats de la requête R Résultats de la requête R Résultats de la requête sur les prix Résultats de la requête R Résultats de la requête R Exemple d index de document Exemple de base de titres d articles Index obtenu à partir des titres Nombre de documents pertinents pour les requêtes Résultats sans ontologie Résultats en utilisant l ontologie Documents pertinents pour les requêtes 1 et Détail pour la requête

14 14 LISTE DES TABLEAUX 5.9 Résultats des requêtes floues sans l ontologie Résultat de la requête 5 pondérée sans ontologie Résultats des requêtes floues avec l ontologie Exemples de l utilisation de OWmin Évaluation type Mercure : utilisation directe du poids Utilisation du poids w doc pour le calcul de N et Π Utilisation du poids w coll pour le calcul de N et Π Évaluation type Mercure Utilisation du poids w coll pour le calcul de N et Π Évaluation des méthodes de tri

15 Introduction générale Avec la démocratisation des moyens informatiques, et notamment leur utilisation comme outil de communication, une somme toujours plus importante de sources d informations est mise à la disposition du public, sous forme de bases de données, de textes, d articles. Face à cette multiplication des données informatiques, qu elles soient structurées ou documentaires, la nécessité de systèmes de recherche efficaces se fait de plus en plus sentir. Le but de ces systèmes de recherche est d aider un utilisateur n étant pas spécifiquement un expert à trouver l information désirée parmi la masse de données disponibles. Ainsi, l utilisateur doit formuler son besoin d information sous la forme d une requête, et la tâche du système est d identifier les documents ou les enregistrements qui répondent à ce besoin, afin d en fournir une liste à l utilisateur, traditionnellement triée en fonction de leur pertinence estimée vis-à-vis du besoin de l utilisateur, c est-à-dire de sa satisfaction. Cependant, la formulation de ces besoins en une requête efficace reste une démarche relativement ardue, en partie due au fait que celle-ci doit être compréhensible par le système informatique, et cela malgré l imprécision du besoin initial. En effet, il n est pas rare que l utilisateur ne sache pas lui-même formuler clairement son besoin. L efficacité de ces systèmes passe donc entre autre par une meilleure adéquation entre la machine et l humain, dans le mode de représentation et de description des informations contenues dans le système, mais aussi des besoins formulés par l utilisateur. Une des solutions permettant de s approcher plus fidèlement du mode de pensée humain, caractérisé en outre par l imprécision et l ambiguïté, est l utilisation de la logique floue, qui permet de modéliser ces caractéristiques de manière formelles, et ainsi de les intégrer dans un système d évaluation. En outre, l information est souvent représentée sous forme de termes linguistiques. Ces termes peuvent provenir de documents textuels ou d attributs linguistiques représentant des données numériques. Lorsque les sources d information diffèrent, il n est pas rare que 15

16 16 INTRODUCTION GÉNÉRALE le vocabulaire utilisé pour ces termes soit hétérogène, et souvent incompatible ou contradictoire entre les différentes sources. Ce problème d hétérogénéité se pose aussi lors de la formulation des requêtes, puisque l utilisateur doit connaître a priori le vocabulaire utilisé dans la représentation de l information. Un outil issu de la théorie des possibilités, appelé «filtrage flou» se prête particulièrement bien à cette application, que ce soit dans le domaine des bases de données ou de la recherche documentaire. Il permet en effet de représenter dans quelle mesure il est possible et certain qu une information satisfait un besoin. Ces besoins peuvent de plus être exprimés de manière flexible, c est à dire en tenant compte des préférences de l utilisateur. Cependant, cet outil se base sur la théorie des ensembles flous, et s il s applique parfaitement aux données pouvant se traduire par des valeurs numériques ou assimilables, son utilisation dans le cadre de données touchant au langage naturel est moins évidente. L autre point clé de ces systèmes de recherche est l évaluation de la pertinence des résultats vis-à-vis de la requête, et le tri de ceux-ci de manière judicieuse. Classiquement, une mesure de pertinence est calculée entre la donnée (document ou enregistrement de base de données) et la requête, et cette mesure est utilisée pour trier les résultats obtenus afin de ne présenter que les plus pertinents. Cependant, cette approche peut être considérée comme trop simplificatrice. En effet, une requête, même simple, est généralement constituée d une liste de mots-clés, considérés comme définissant les besoins, c est à dire les sujets devant être traités dans le document recherché dans le cadre de recherche documentaire par exemple. Ainsi, l approche classique calcule une seule valeur de pertinence pour cet ensemble de mots-clés, et perd ainsi la spécificité de chacun des mots, et donc des grands thèmes de la requête. Suite à cette perte d information, il peut devenir impossible de départager certain résultat sur la base de cette valeur unique de pertinence, ou bien certain documents peuvent être pénalisés trop fortement par un seul critère de recherche insuffisamment rempli. L approche développée ici se propose d utiliser et étendre le filtrage flou pour définir une technique de représentation et de recherche de données linguistiques, comme des termes ou des concepts, afin de représenter au mieux le vocabulaire et l information contenue dans le langage naturel. Ainsi, la correspondance entre les termes de la requête et des données ne nécessite plus une identité parfaite, mais découle d un processus d appariement qualitatif. En utilisant les propriétés des ensembles flous sous-jacents à ce modèle, il est ainsi possible de définir des classes, imprécises, de termes ou de concepts. Ces concepts peuvent ainsi être mis en relations afin de représenter les liens sémantiques et l ambiguïté propres au langage naturel, définissant ainsi une ontologie possibiliste de concepts. Des vocabulaires

17 INTRODUCTION GÉNÉRALE 17 hétérogènes peuvent ainsi être mis en relation, afin d uniformiser la représentation de l information disponible. Enfin, en représentant de la même manière les besoins exprimés par un utilisateur, il est possible de les faire correspondre avec la représentation des informations, et ainsi d effectuer des recherches exploitant ces liens, pour permettre d obtenir des résultats plus pertinents, correspondant mieux à l attente de l utilisateur. De plus, le modèle utilisé permet l élaboration de requêtes complexes pouvant représenter les préférences de l utilisateur ainsi que la prose en compte de priorités entre les différents éléments du besoin d information, dans le but de fournir des résultats approximatifs à l utilisateur dans le cas ou sa recherche ne pourrait pas être pleinement satisfaite. Nous nous attacherons également à explorer de nouvelles méthodes d évaluation de la pertinence des documents en recherche d information. Pour cela, nous étudierons l impact de méthodes multicritères pour mieux tenir compte des différences entre les termes d une requête, afin de gagner en spécificité, plutôt que d agréger les termes de la requête au sein d une unique valeur, comme c est traditionnellement le cas. Ces méthodes font appel elles aussi à des techniques issues de la logique floue, et ont pour but de s intégrer avec le modèle décrit précédemment afin d aboutir à un système élaboré et performant de recherche d information. Cette thèse est organisée selon le plan suivant. Dans le chapitre 1, nous présenterons tout d abord les différents aspects des bases de données et notamment leur intégration avec la logique floue. Après un bref rappel de la problématique des bases de données classique, un tour d horizon des techniques floues sera abordé, présentant les problèmes liés à l élaboration de requêtes flexibles, les différentes méthodes de gestion de l incertitude dans les données, et enfin l estimation de la satisfaction des requêtes vis-à-vis des données. Le chapitre 2 présentera une vue d ensemble de la recherche documentaire, que ce soit l approche dite «classique», ou les travaux visant à intégrer les techniques floues et la recherche d information. Plus précisément, les points clé du cycle de recherche d information seront développés, depuis la formulation des requêtes aux techniques d apprentissage et de reformulation en passant par la présentation des différents modèles utilisés pour l appariement des représentations des requêtes et des documents. Nous présenterons également comment est effectuée l évaluation des systèmes d information, à partir de collections de test et de mesures d efficacité. Le parallèle sera ensuite fait entre ces étapes du processus de recherche et leur adaptation aux techniques issues de la logique floue. Dans la suite, nous présenterons la modélisation théorique de notre approche pour la représentation des requêtes et de l information basée sur le filtrage flou et le modèle

18 18 INTRODUCTION GÉNÉRALE d appariement qui en découle sera développé. Le chapitre 4 présentera ensuite l application de ce modèle à une base de données, ainsi que les résultats expérimentaux obtenus. Le chapitre 5, quant à lui, utilise cette approche dans le cadre de recherche d information textuelle, en présentant les problèmes spécifiques à ce domaine. Enfin, le chapitre 6 aborde la problématique de l évaluation de la pertinence en recherche d information. Nous présenterons donc les résultats d expériences menées selon la méthodologie TREC, sur la collection de test issue de la campagne d évaluation CLEF2001. Ces tests ont pour objectifs d estimer l effet de l utilisation des degrés possibilistes dans l appariement des requêtes et des documents, comparé à l utilisation du poids classique, et mesurer l impact des méthodes multicritères sur l ordonnancement des résultats, et donc sur les performances du système de recherche d information.

19 Chapitre 1 Bases de données floues 1.1 Introduction Apparues au début des années 70 avec l augmentation du besoin des entreprises à gérer une quantité toujours croissante de données de plus en plus complexes, les systèmes de gestion de bases de données ont pour but principal de stocker de façon permanente de grandes quantités de données structurées, afin d en faciliter l accès (requêtes) et la maintenance (mises à jour). Parallèlement, la logique floue, et plus précisément les ensembles flous, se sont développés. Ils permettent d introduire les notions d imprécision et d incertitude dans un système d information, étendant ainsi leurs possibilités et permettant de gérer des données imprécises ou incertaines. Dans ce chapitre, nous allons tout d abord rapidement présenter les systèmes de bases de données traditionnels. Nous aborderons ensuite les ensembles flous, et leur application aux bases de données, notamment dans la gestion des requêtes plus flexibles et des données moins précises. 1.2 Concepts fondamentaux des bases de données Modèle relationnel Les systèmes de base de données les plus répandus actuellement sont les systèmes relationnels, basés sur la théorie des ensembles [Codd, 1970]. Cette approche ensembliste 19

20 20 CHAPITRE 1. BASES DE DONNÉES FLOUES permet de donner un cadre formel pour le stockage et l interrogation des données. Dans ces systèmes, les données sont encodées sous forme de relations, qui peuvent être vues comme des tables, elles-mêmes constituées de n-uplets, c est-à-dire d ensembles d attributs, les colonnes des tables. Ces attributs sont définis sur un domaine donné, prédéfini lors de la modélisation de la relation. Une relation est donc un sous-ensemble de toutes les combinaisons possibles entre les valeurs des domaines des différents attributs. Afin de représenter les cas où la valeur d un attribut est inconnue, une valeur nulle a été introduite. Elle représente la totale ignorance ou l absence de valeur, permettant ainsi de rendre certains attributs optionnels Clés Les différents enregistrements de la relation (les lignes de la table) sont identifiés de manière unique par un sous-ensemble de leurs attributs, appelé clé ou identifiant. En effet, le modèle ensembliste sous-jacent implique que tous les n-uplets d une relation doivent être distincts, et donc différer deux à deux par la valeur d au moins un attribut, afin de pouvoir garantir un accès unique à chaque enregistrement. Il est donc possible de trouver un groupe minimal d attributs caractéristiques de chaque n-uplet Algèbre relationnelle et manipulation des données Afin de pouvoir manipuler ces relations, et en particulier reconstruire les données originales à partir des différentes relations et des dépendances définies dans le schéma relationnel, l algèbre relationnelle a été élaborée. Elle utilise donc deux aspects du schéma tel qu il a été défini : le point de vue ensembliste des relations et leur structure Opérations ensemblistes Les relations étant basées sur des ensembles, les opérateurs classiques des ensembles s appliquent. Il est ainsi possible d effectuer des unions, intersections et différences de relations, dans la mesure où ces opérations s appliquent à un sous-ensemble commun des attributs des différentes relations mises en jeu. Le produit cartésien de relations est aussi possible. Ces relations peuvent être des relations réelles du schéma ou des ensembles de n-uplets résultant d autres opérations antérieures, comme une jointure par exemple.

21 1.2. CONCEPTS FONDAMENTAUX DES BASES DE DONNÉES Opérations relationnelles La principale tâche de manipulation des données, concernant leur consultation, est de reconstruire les n-uplets désirés à partir des relations et des dépendances fonctionnelles, et de sélectionner ceux contenant les valeurs intéressantes. Différents opérateurs relationnels ont cette fonction : Sélection : La sélection consiste à ne considérer que les n-uplets ayant une valeur particulière pour un ou plusieurs de ses attributs. Le critère de sélection est une fonction sur le domaine de l attribut, généralement une comparaison avec une valeur fixée. Projection : La projection ne conserve qu un sous-ensemble des attributs de la relation. Jointure : La jointure est l opérateur clé de l algèbre relationnelle. En effet, c est elle qui permet d exploiter les dépendances fonctionnelles pour reconstruire les n-uplets précédemment décomposés. Concrètement, la jointure de deux relations r et s sur les attributs A et B par l opérateur de comparaison θ est le sous-ensemble de l union des n-uplets de r et s pour lesquels les valeurs de A et B respectent AθB. Dans l exemple de la commande décomposée en trois relations «commande», «client» et «produit», il est ainsi possible de retrouver la relation initiale complète en effectuant une jointure entre «commande» et «produit» sur l égalité des identifiants de produits, puis une jointure entre ce résultat et «client» sur l égalité des identifiants de clients. Division : Le but de la division est de trouver les n-uplet d une relation pour lesquels la valeur d un attribut apparaît dans une deuxième relation. Dans le cadre de notre exemple, une division pourrait se formuler par une requête du type «trouver les clients ayant commandé plus de 100 pièces de tous les produits valant plus de 150e». Elle peut se décrire à l aide des opérateurs déjà mentionnés, en particulier la projection, la différence et le produit cartésien Requêtes Les requêtes sur ces systèmes sont définies à l aide des opérations précédentes, combinées successivement. Les critères utilisés dans la sélection et la jointure peuvent en outre être agrégés par les opérateurs booléens classiques. Généralement, les systèmes autorisent aussi des opérations de regroupement des n-uplets en fonction de la valeur d un ou plusieurs attributs, accompagnées de fonctions s appliquant sur des ensembles d éléments, comme le calcul de la moyenne de la valeur d un attribut par exemple.

22 22 CHAPITRE 1. BASES DE DONNÉES FLOUES Ainsi, des requêtes élaborées peuvent être construites par l utilisateur afin d extraire des données de la base, voire obtenir de nouvelles données par le calcul Conclusion Le modèle relationnel permet donc une modélisation puissante des cas concrets des données de l entreprise. Cependant, il ne permet de gérer que les données atomiques et parfaitement connues. De plus, la recherche est basée sur des opérateurs ensemblistes stricts, et ne permet que la formulation de requêtes booléennes. Les données mal connues, imprécises et entachées d erreurs sont donc difficiles à représenter directement dans le cadre de ce modèle. Les requêtes plus flexibles, autorisant la préférence et la tolérance ne sont pas non plus implémentables directement à l aide des outils disponibles. Dans la section suivante, nous allons donc aborder l utilisation des ensembles flous dans le domaine des bases de données afin d étendre le modèle relationnel classique et de permettre ainsi plus de flexibilité. 1.3 Bases de données floues Pour résoudre le problème des données imprécises ou incertaines, et pour permettre d élaborer des requêtes plus flexibles, exprimant divers niveaux de préférences, le monde des bases de données s est tourné vers les techniques issues de la logique floue. L utilisation de ces techniques amène ainsi à considérer trois aspects importants pour leur application : la formulation de requêtes flexibles, l incertitude et l incomplétude des données, et le calcul de similarité pour l appariement des requêtes et des données. Dans un premier temps, la formulation des requêtes, ainsi que l algèbre relationnelle qui en découle, doivent être adaptés au modèle de la logique floue choisi, afin d obtenir des requêtes flexibles, notamment par l introduction de pondération ou de quantificateurs flous sur les éléments de la requête et l utilisation d opérateurs d agrégations adaptés. La représentation des données doit également être revue, en se basant en particulier sur les ensembles flous pour définir des valeurs d attributs pouvant être mal connues. Enfin, l évaluation des requêtes sur ce type de données doit faire appel à des propriétés spécifique des modèles utilisés, en définissant des mesures de similarité ou de proximité entre

23 1.3. BASES DE DONNÉES FLOUES 23 les requêtes et les données, afin d effectuer un appariement des deux. Ces trois aspects vont être examinés dans la suite Requêtes flexibles La plupart des bases de données déjà existantes contenant des données classiques, il est naturel de vouloir adapter les systèmes afin de pouvoir interroger ces données de manière flexible, c est-à-dire où les résultats peuvent être plus ou moins satisfaisants. Différentes approches ont été suggérées afin de permettre à l utilisateur d introduire la notion de préférence dans ses requêtes. Deux catégories principales peuvent être dégagées : 1. l utilisation des ensembles flous pour représenter les termes imprécis des requêtes ([Tahani, 1977] par ex.) 2. une extension spécifique du système relationnel (algèbre et langage). Le but est de différencier les éléments de la réponse en fonction de leur degré de satisfaction des conditions de la requête, les préférences de l utilisateur pouvant s appliquer aussi bien à des conditions élémentaires qu à une combinaison de conditions. Ainsi, dans le système PREFERENCES de [Lacroix et Lavency, 1987], les résultats d ensembles ou de listes de conditions booléennes sont agrégés numériquement, de manière à ce qu un un n- uplet soit jugé d autant plus pertinent qu il satisfait de conditions, et s il ne satisfait pas une des conditions d une liste, les suivantes sont ignorées. Une autre approche utilise la notion de distance par rapport à la valeur idéalement souhaitée. Un opérateur de similarité est alors défini, considérant comme acceptable les valeurs ayant une distance avec la valeur idéale en dessous d un seuil prédéfini, ces résultats étant discriminés en fonction de la distance elle-même, comme dans [Ichikawa et Hirakawa, 1986, Motro, 1988] et [Rabbiti, 1990] pour une approche orientée recherche d information. On peut montrer (cf. [Bosc et Pivert, 1992]) que les requêtes des approches précédentes peuvent être reformulées en termes d ensembles flous de la forme : «S alors O» où S est une sélection booléenne, O un composant d ordonnancement dont les expressions sont agrégées de façon appropriée (moyenne) et alors représente la succession de ces opérations. Ces systèmes spécifiques sont moins généraux que ceux basés sur les ensembles flous. En effet, les requêtes ont une forme prédéfinie (sélection suivie de tri) et l échelle de distinction des résultats est limitée. De plus, ces systèmes ne proposent que des méthodes d agrégation prédéfinies, contrairement aux ensembles flous où l utilisateur peut choisir le mécanisme

24 24 CHAPITRE 1. BASES DE DONNÉES FLOUES approprié. Enfin, la forme des requêtes introduit une discontinuité entre sélection et tri. Par exemple, dans les systèmes basés sur les distances, un élément satisfaisant tous les critères, même avec une valeur faible, sera accepté alors qu un élément ayant de bons résultats dans tous les critères, sauf un où il est hors du seuil établi, sera rejeté Modélisation de requêtes flexibles sur des données classiques Afin de retrouver les données stockées dans la base, on définit des requêtes flexibles. Plutôt que de formuler la requête en terme de valeurs voulues pour les attributs, comme c est le cas dans les systèmes relationnels traditionnels, une requête flexible spécifie des préférences au sein de conditions élémentaires, et des priorités entre ces conditions, permettant une transition plus douce entre la satisfaction totale de la requête et le rejet de l élément. Ainsi, le résultat de la requête n est plus un ensemble d éléments sélectionnés, mais un ensemble d éléments, discriminé en fonction de leur satisfaction globale. Un exemple typique de requête floue est : «trouver les appartements bon marché et situés pas trop loin du centre-ville», décrivant une préférence sur le prix et la localisation. Ainsi, la condition «bon marché» est plus tolérante que par exemple «prix < 500e», comme dans le cas classique. Cette définition de requête flexible en terme de préférences s effectue à plusieurs niveaux. Dans un premier temps, les prédicats de la requête elle-même peuvent être exprimés par des ensembles flous, comme c est le cas de «bon marché» par exemple. Par ailleurs, différents niveaux de priorités peuvent être appliqués à ces prédicats. Enfin, les fonctions de regroupement appliquées à ces prédicats quantifiés sont définies par des fonctions sur les ensembles flous obtenus. Différentes approches sont utilisées pour arriver à ce résultat. Les prédicats flous permettent d exprimer les préférences vagues de l utilisateur au moyen de propriétés voulues, modélisées par des ensembles flous. Ainsi, la distinction entre les éléments est plus graduelle, puisque exprimée par un degré d appartenance à ces ensembles. L utilisateur peut ainsi représenter une préférence parmi différents résultats acceptables. Cette approche a deux avantages majeurs sur les requêtes classiques. Elle permet : 1. de donner des réponses approchées alors qu une requête stricte trop restrictive aurait eu un résultat vide, 2. de trier les «bonnes» réponses en fonction de leur degré de satisfaction, au lieu de donner une liste de réponses indifférenciées.

25 1.3. BASES DE DONNÉES FLOUES 25 Ce type de requête est défini par plusieurs constructeurs. Les prédicats atomiques, tels que grand ou récent, sont définis par un ensemble flou sur un ou plusieurs domaines, ici, la taille et l âge. Des modificateurs peuvent être appliqués aux fonctions d appartenance définissant ces ensembles flous afin de modéliser des variations linguistiques telles que très, plutôt, etc. Ces modificateurs sont des fonctions du type dilatation, concentration ou translation [Bouchon-Meunier et Yao, 1992]. Par exemple la fonction définie sur la taille et représentant le prédicat très grand sera obtenu à partir de celle définissant grand en effectuant une translation vers la taille croissante, pour définir une nouvelle fonction dont les seuils seront plus élevés par exemple. Combinaison et importance : Les conditions précédentes peuvent être combinées, sous forme d expressions logiques, par des opérations sur les ensembles flous, de type conjonctions et disjonctions. Le plus souvent, la conjonction est obtenue en appliquant l opérateur min sur les degrés, et la disjonction le max. Cette approche, qui ne prend en compte que la moins bonne propriété, ou la meilleure, peut être trop restrictive dans certain cas. Pour tempérer cet aspect, une solution courante est d exprimer une préférence entre les propriétés elles-mêmes. Dans ce cas, les conjonctions et disjonctions peuvent être exprimées, en utilisant l implication de Dienes, par [Dubois et Prade, 1986, Sanchez, 1989] : min max(c i (A i (x)), 1 w i ), i (1.1) max min(c i (A i (x)), w i ). i (1.2) où C i est la condition s appliquant à la valeur de l attribut A i du n-uplet x (A i (x)) et w i le poids d importance de cette condition. Ces poids sont normalisés, c est-à-dire max i (w i ) = 1. Ainsi, il y a toujours une condition considérée comme vraiment importante ou prioritaire. Cette utilisation considère dans ce cas le poids w i comme étant un niveau d importance. D autres implications peuvent également être utilisées, comme celle de Gödel par exemple, où le poids est alors interprété comme un seuil. Ces implications sont décrites plus en détail dans l annexe A. Un autre moyen de raffiner le minimum et le maximum classique est d utiliser les opérateurs discrimin (resp. discrimax) ou leximin (resp. leximax), issus des méthodes d analyse multicritères, pour effectuer les agrégations. Sommairement, ces opérateurs n effectuent pas une agrégation des éléments d un vecteur, mais les comparent deux à deux, et ne tiennent compte que des éléments différents pour la comparaison globale. Ainsi, deux vecteurs de poids (ici les C i (A i (x))) ayant la même valeur minimale pourront être discriminés, puisque

26 26 CHAPITRE 1. BASES DE DONNÉES FLOUES cette valeur ne sera pas prise en compte dans leur comparaison relative. L utilisation de l analyse multicritère est abordée plus en détails au chapitre 6. D autres opérateurs existent pour représenter la conjonction et la disjonction floues. Citons par exemple le produit ou max(0, a + b 1) pour la conjonction, et la somme probabiliste a + b aḃ ou la somme bornée min(1, a + b) pour la disjonction. Il existe aussi beaucoup d opérateurs intermédiaires entre le min et le max, comme par exemple la moyenne arithmétique ou la «moyenne pondérée ordonnée» (ordered weighted average) introduite dans [Yager, 1993]. Les énoncés quantifiés flous peuvent être considérés comme un autre type d agrégation, et sont utilisés aussi bien pour la sélection d éléments que d ensembles d éléments de la base. Les énoncés quantifiés ont été introduits dans [Kacprzyk et Ziolkowski, 1986]. Ainsi, l agrégation peut être utilisée entre les critères de la requête ou entre les éléments de l ensemble résultat. Ils sont basés sur des quantificateurs linguistiques, tels que la plupart, alliés à des prédicats flous. Par exemple, une requête de ce type pourrait être : «trouver un quartier où la plupart des appartements sont récents». La forme générique d un énoncé quantifié est «Q X sont A», où Q est le quantificateur linguistique (la plupart), X l attribut considéré (les appartements), et A est le prédicat flou (récent). Les quantificateurs flous sont introduits dans [Zadeh, 1983]. On distingue les quantificateurs absolus et relatifs. Ainsi, un quantificateur linguistique absolu est représenté par une fonction Q : R [0, 1], alors qu un quantificateur relatif est représenté par Q : [0, 1] [0, 1]. Q(j) définie alors la valeur de vérité de l énoncé quantifié quand exactement j éléments de X satisfont totalement le prédicat A. Ces quantificateurs permettent de représenter des expressions linguistiques comme beaucoup ou au moins une douzaine Ici encore, plusieurs méthodes ont été proposées pour calculer la valeur de vérité de ces requêtes quantifiées. Les plus satisfaisantes en terme de propriétés et de compatibilité avec les mesures floues sont celles présentées dans [Yager, 1983] et [Yager, 1991], qui retournent un degré de vérité. La première approche, appelée agrégation compétitive, est définie par : max min(q(i), A(x i)) = min max(1 w i, A(x i )) 1 i n 1 i n où Q est l opérateur linguistique, A(x 1 ) A(x n ) et w i = 1 Q(i 1) si Q est absolu et 1 Q((i 1)/n) si Q est relatif (n étant le cardinal de l ensemble considéré). La deuxième approche, basée sur les OWA, définit la valeur de vérité par : n w i A(x i ) i=1

27 1.3. BASES DE DONNÉES FLOUES 27 avec A(x 1 ) A(x n ) et w i = Q(i) Q(i 1) si Q est absolu (resp. Q(i/n) Q((i 1)/n) si Q est relatif). Elle a été étendue dans [Yager, 1993, Bosc et Liétard, 1993] Les requêtes avec fonction de regroupement sont utilisées pour cumuler les résultats afin d obtenir des valeurs calculées sur ceux-ci, la moyenne d un attribut sur un ensemble de résultats par exemple. Ainsi, la somme ou la moyenne, et plus généralement toutes fonctions scalaires sur un ensemble d objets, comme on le fait dans les bases de données classiques, s appliquent à un ensemble flou d objet, pour effectuer ces regroupements. Un exemple de telles requêtes serait «Trouver le prix moyen d un hôtel confortable». Une représentation de ce type de requêtes, basée sur les coupes α est décrite dans [Dubois et Prade, 1990a]. Ainsi, si f est une fonction de regroupement sur l ensemble et A un ensemble flou, une valeur possible de f(a) est l ensemble flou de valeurs N : N(r) = sup{(α ]0, 1], f(a α ) = r)} où A α est la coupe de niveau α de A. Par exemple, étant donnée la relation des hôtels décrite en tableau 1.1, et la requête précédente, on a f = avg (moyenne), puisque l on veut calculer la moyenne sur les prix. Le résultat est alors : N = {(1, avg(100)); (0.9, avg(100, 80)); (0.7, avg(100, 80, 45))} = {(1, 100); (0.9, 90); (0.7, 75)} ce qui signifie qu il y a trois résultats plus ou moins possibles pour décrire le «prix moyen d un hôtel confortable» : 100 au degré 1, 90 au degré 0.9 et 75 au degré 0.7. ID Prix Confortable Tableau 1.1 Exemple de relations sur les hôtels Algèbre relationnelle pour relations floues Les requêtes flexibles basées sur les ensembles flous, transforment des relations classiques en relations floues pondérées, la pondération des n-uplets représentant le degré de satisfaction aux prédicats flous de la requête. Il est donc intéressant d étendre les méthodes de

28 28 CHAPITRE 1. BASES DE DONNÉES FLOUES compositions des relations classiques, telle que l algèbre relationnelle, aux relations floues, afin de permettre la représentation de requêtes complexes ([Tahani, 1977] par ex.) Ainsi, le produit cartésien de deux relations R et S définies respectivement sur les univers X et Y est défini par : R S = min(r(x), S(y)) (1.3) De même, si R et S sont définies sur le même univers, on définit les opérations d union, intersection et différence par : R S = max(r(x), S(x)), (1.4) R S = min(r(x), S(x)), (1.5) R \ S = R S = min(r(x), 1 S(x)) (1.6) La division de relations floues, contrepartie de la division relationnelle classique présentée en section , est plus complexe à définir. En introduisant des relations floues, elle pourrait se formuler par «trouver les clients ayant commandé beaucoup d exemplaires de tous les produits chers». La division classique se définit par : x div A (R, S) S Γ 1 (x) où Γ 1 (x) = {a (x, a) R} Dans [Dubois et Prade, 1996] et [Bosc et al., 1997], la division floue est définie en remplaçant l inclusion stricte précédente par une inclusion graduelle de S dans Γ 1 (x), qui devient aussi un ensemble flou. Dans ce contexte, l inclusion peut être basée sur une implication floue f ou sur une norme triangulaire. On a donc : div A (R, S)(x) = min (S(a) f R(a, x)) a S a S (S(a) R(a, x)) div A (R, S)(x) = a S S(a) Le choix de l implication ou de la norme triangulaire définit l interprétation de cette expression. Ainsi, si on utilise une implication de type Gödel a G b = 1 si a b, b sinon, S(a) est considéré comme un seuil devant être atteint. Si c est l implication de Dienes a D b = max(1 a, b) qui est utilisée, S(a) joue le rôle de niveau d importance. Les mêmes interprétations s appliquent pour la norme triangulaire selon que l on utilise le minimum ou le produit respectivement. La possibilité de décomposer la division comme mentionné précédemment ainsi que d autres propriétés de la division classique, dépendent

29 1.3. BASES DE DONNÉES FLOUES 29 du choix du type du degré d inclusion (implication ou norme triangulaire) et de l opérateur choisit pour celui-ci. D autres définitions de la division de relations floues, ayant des n-uplets pondérés, sont présentées dans [Yager, 1991, Cubero et al., 1994, Mouaddib, 1994]. Une autre possibilité pour rendre floue la division est de replacé la condition tous de celle-ci par un opérateur moins strict, comme «presque tous» ou «la plus part». Cette approche est présentée dans [Yager, 1991, Cubero et al., 1994, Dubois et al., 1997] SQLf est un langage permettant de formuler des requêtes d algèbre relationnelle floue sur une base de données [Bosc et Pivert, 1995]. Il est basé sur le langage SQL qui est la référence pour la gestion et l interrogation des données dans le domaine des bases de données relationnelles classiques. C est un langage déclaratif, construit autour des opérateurs relationnels, principalement la sélection et la projection. Une requête à ainsi la forme : «select attributs from relations where conditions booléennes» L objectif principal de SQLf est de supporter un grand nombre de requêtes floues tout en restant dans l esprit du SQL original. Pour cela, il introduit du flou au niveau des prédicats eux-mêmes et au niveau de leurs combinaisons. De plus, il est permis à l utilisateur de réguler le résultat, soit en spécifiant le nombre de réponses voulues, soit sous forme d un seuil interprété comme une coupe de niveau α. Notons que de nombreux systèmes relationnels modernes intègrent la spécification du nombre de résultats voulus, ainsi qu un éventuel décalage, comme des extensions au SQL classique. Les conditions booléennes utilisées dans la clause de sélection sont replacées par des conditions floues. On peut ainsi utiliser des quantificateurs linguistiques et des prédicats flous pour formuler des énoncés quantifiés flous, combinés par des opérateurs linguistiques du type «la plus part». Les fonctions de regroupement, comme la moyenne ou la somme de la valeur d un attribut sur un ensemble de n-uplets, sont définies dans SQL par des requêtes du type : «select attributs from relations where conditions sur le n-uplets group by attributs having conditions sur un ensemble de n-uplets». SQLf intègre les regroupements flous en introduisant des conditions floues sur les ensembles de résultats, en utilisant le résultat des fonctions de regroupement dans des prédicats flous. Ces conditions peuvent elles aussi être combinées par des opérateurs d agrégations flous. Cependant, la condition portant sur les n-uplets doit être booléenne pour que les fonctions puissent s appliquer sur un ensemble classique. Les énoncés quantifiés flous de la forme «quantificateur linguistique EST prédicat flou» sont aussi utilisables dans la condition du regroupement. Ils sont alors agrégés par

30 30 CHAPITRE 1. BASES DE DONNÉES FLOUES des opérateurs de type OWA. Enfin, la division est gérée en introduisant un opérateur de comparaison d ensembles flous dans la clause having, basé sur l implication de Dienes Incertitude et incomplétude des données La représentation des données incertaines ou incomplètes est un problème majeur dans les systèmes de base de données classiques. Dans cette section, nous allons rappeler quelques approches de ces représentations, et plus particulièrement celles liées au modèle possibiliste Approches par logiques multivaluées Valeurs Nulles La première représentation des données imprécises dans les bases de données a été proposée par [Codd, 1979], et traite des valeurs nulles. Codd définit une logique trivaluée introduisant la valeur nulle ( ). Ici, cette valeur nulle a le sens d inconnue. Il introduit donc les prédicats suivants : 1. xθy si x ou y sont nuls et θ est <,, =,,, >, 2. x S si x est nul pour tout sous-ensemble S du domaine, c est-à-dire si on ne sait pas si x appartient ou non à S 3. T S si x T et x est nul, pour tout sous-ensemble S. ainsi que les extensions aux opérateurs logiques : T = T, F =, = T =, F = F, = = Dans [Gessert, 1991], cette approche est étendue pour gérer plusieurs interprétations des valeurs nulles. Des valeurs par défaut sont attribuées aux données manquantes, et un degré de vérité leur est associé. Une logique quadrivaluée est utilisée, de façon à ce que le statut logique des données par défaut, représenté par leur valeur de vérité, puisse être interprété comme vrai et faux, mais aussi inconnu et inapplicable. Un calcul complètement compositionnel par rapport à tous les connecteurs n est cependant pas compatible avec une modélisation satisfaisante de l information manquante. Voir par exemple à ce sujet [de Tré et al., 2004].