Une approche centroïde pour la classification de séquences dans les data streams

Transcription

1 Une approche centroïde pour la classification de séquences dans les data streams Alice Marascu, Florent Masseglia INRIA Sophia Antipolis, 2004 route des Lucioles - BP Sophia Antipolis, France Projet AxIS {Alice.Marascu,Florent.Masseglia}@sophia.inria.fr Catégorie : chercheur RÉSUMÉ. Les flots de données séquentielles (data streams) se trouvent impliqués dans des domaines de plus en plus nombreux. Dans un processus de fouille appliqué sur un data stream, l utilisation de la mémoire est limitée, de nouveaux éléments sont générés en permanence et doivent être traités le plus rapidement possible, aucun opérateur bloquant ne peut être appliqué sur les données et celles-ci ne peuvent être observées qu une seule fois. A l heure actuelle, il existe très peu de méthode de classification non supervisée des séquences dans un data stream. Notre objectif, dans cet article, est de montrer que cette classification est possible grâce à une approche centroïde, qui permettra de maintenir un représentant de chaque classe. Par comparaison avec un clustering hiérarchique classique, nos expérimentations montrent que notre approche permet d obtenir des classes de grande qualité avec des temps de réponse très faibles. ABSTRACT. In recent years, emerging applications introduced new constraints for data mining methods. These constraints are typical of a new kind of data: the data streams. In a data stream processing, memory usage is restricted, new elements are generated continuously and have to be considered as fast as possible, no blocking operator can be performed and the data can be examined only once. At this time only a few methods has been proposed for mining sequential patterns in data streams. We argue that the main reason is the combinatory phenomenon related to sequential pattern mining. In this paper, we propose an algorithm based on sequences alignment for mining approximate sequential patterns in Web usage data streams. To meet the constraint of one scan, a greedy clustering algorithm associated to an alignment method are proposed. We will show that our proposal is able to extract relevant sequences with very low thresholds. MOTS-CLÉS : flots de données, motifs séquentiels, alignement de séquences, fouille des usages du Web, classification KEYWORDS: Data Streams, Sequential Patterns, Sequences Alignment, Web Usage Mining, Clustering

2 1. Introduction Depuis peu, des applications émergentes comme (entre autres) l analyse du trafic réseaux, la détection de fraude ou d intrusion, la fouille de clickstream 1 ou encore l analyse des données issues de capteurs ont introduit de nouveaux types de contraintes pour les méthodes de fouille. Ces applications ont donné lieu à une forme de données connues sous le nom de data streams. Dans le contexte des data streams l utilisation de la mémoire doit être réduite, les données sont générées de manière continue et très rapide, les opérations bloquantes ne sont pas envisageables et, enfin, les nouvelles données doivent être prises en compte aussi vite que possible. Dans ce domaine, l approximation a rapidement été reconnue comme un facteur clé pour fournir des motifs à la vitesse imposée par l application [GAR 02, TEN 03, GIA 03]. Dans [MAR 06] nous avons proposé SMDS, une méthode d extraction de motifs séquentiels dans les data streams. Parmi les différentes fonctionnalités de cette méthode, la segmentation des séquences est utilisée comme préalable à l extraction des motifs fréquents. Nous y avons montré l efficacité d une approche heuristique gloutonne pour la classification des séquences. Dans cet article, nous proposons l algorithme SCDS (Sequence Clustering in Data Streams) qui a pour but d améliorer les performances de l algorithme de classification utilisé dans SMDS. Le principe de SCDS est de comparer chaque séquence à un représentant de chaque cluster. La méthode de calcul de ce représentant est basée sur des techniques d alignement de séquences. SCDS est implémenté et a été testé sur des données réelles issues du serveur Web de l Inria Sophia Antipolis. Ces données collectent les informations sur les usages qui sont faits d un site Web. Les techniques d analyse de ces usages (WUM ou Web Usage Mining) fournissent des informations sur le comportement des utilisateurs du site. Parmi les méthodes existantes, celles qui extraient les motifs séquentiels sont particulièrement bien adaptées. Elles ont pour but l extraction de motifs du genre : «Sur le site de l Inria, 10% des utilisateurs visitent la page d accueil, puis la page des emplois, la page des offres d emplois ITA, la description du métier d ITA et enfin les annales des concours passés». Notre objectif est d extraire des classes de comportements (comportements qui seront représentés sous forme de séquences) à partir des flots de données d usage d un site Web. Nous montrerons que SCDS satisfait les contraintes liées à la rapidité du data stream et peut être inclus dans un environnement temps réel. De plus, lors de nos expérimentations, nous avons constaté la qualité des clusters produits par SCDS en comparaison des clusters obtenus par une méthode de clustering hiérarchique classique. Cet article est organisé de la manière suivante : tout d abord nous présentons les concepts d extraction de motifs séquentiels dans la section 2. Ensuite la section 5 expose la technique que nous avons développée dans ce travail afin de proposer une classification des séquences issues d un data stream. Nous proposons des expérimentations en section 6 avant de conclure. 1. clickstream : flot de requêtes d un utilisateur sur un site Web

3 2. Définitions 2.1. Motifs séquentiels Ce paragraphe expose et illustre la problématique liée à l extraction de motifs séquentiels dans de grandes bases de données. Il reprend les différentes définitions proposées dans [AGR 95, SRI 96, MAS 98]. La notion de séquence est définie de la manière suivante : Définition 1 Une transaction constitue, pour un client C, l ensemble des items achetés par C à une même date. Dans une base de données client, une transaction s écrit sous forme d un triplet : <id-client, id-date, itemset>. Un itemset est un ensemble non vide d items noté (i 1 i 2... i k ) où i j est un item (il s agit de la représentation d une transaction non datée). Une séquence est une liste ordonnée, non vide, d itemsets notée < s 1 s 2... s n > où s j est un itemset (une séquence est donc une suite de transactions avec une relation d ordre entre les transactions). Une séquence de données est une séquence représentant les achats d un client. Soit T 1, T 2,..., T n les transactions d un client, ordonnées par date d achat croissante et soit itemset(t i ) l ensemble des items correspondants à T i, alors la séquence de données de ce client est < itemset(t 1 ) itemset(t 2 )... itemset(t n ) >. Exemple 1 Soit C un client et S=< (3) (4 5) (8) >, la séquence de données représentant les achats de ce client. S peut être interprétée par C a acheté l item 3, puis en même temps les items 4 et 5 et enfin l item 8. Définition 2 Le support de s, noté supp(s), est le pourcentage de toutes les séquences dans D qui supportent (contiennent) s. Si supp(s) minsupp, avec une valeur de support minimum minsupp fixée par l utilisateur, la séquence s est dite fréquente. Dans cet article nous considérons des flots de données séquentielles. Il s agit donc à chaque instant i d entrées de la forme [C, T 1, T 2,..., T n ] qui représentent les transactions T 1 à T n du client C à l instant i Web Usage Mining à partir des motifs séquentiels Pour les méthodes traditionnelles de Web Usage Mining, le principe général est similaire à celui de [MAS 00]. Les données brutes sont collectées dans des fichiers logs par les serveurs. Chaque entrée dans le fichier log représente une requête faite par une machine cliente au serveur. Définition 3 Soit Log un ensemble d entrées dans le fichier access log. Une entrée g, g Log, est un tuple g =< ip g, {(l g 1.URL, lg 1.time),..., (lg m.url, lg m.time)} > tel

4 que pour 1 k m, l g k.url représente l objet demandé par le client g à la date l g k.time, et pour tout 1 j < k, lg k.time > lg j.time. La figure 1 illustre un exemple de fichier obtenu après la phase de pré-traitement pour une classe de navigations. A chaque client correspond une suite de dates (événements) et la traduction de l URL demandée par ce client à cette date. Date1 Date2 Date3 Date4 Date5 Client Client Client Figure 1. Exemple de fichier résultat issu de la phase de pré-traitement L objectif est alors de déterminer, grâce à une phase d extraction, les séquences de ce jeu de données, qui peuvent être considérées comme fréquentes selon la définition 2. Les résultats obtenus sont du type (ici avec un support minimum de 66% et en appliquant les algorithmes de fouille de données sur le fichier représenté par la figure 1). Ce dernier résultat, une fois re-traduit en termes d URLs, confirme la découverte d un comportement commun à minsup utilisateurs et fournit l enchaînement des pages qui constituent ce comportement fréquent. Enfin, l exploitation par l utilisateur des résultats obtenus est facilitée par un outil de requête et de visualisation. 3. Etat de l art Ces dernières années, des propositions ont emergé pour l extraction de motifs dans les data streams [DAT 02, CHA 03, COR 05, GIA 03, TEN 03]. [MAI, Q.Z 03, RAI 05] considèrent eux aussi l extraction de motifs séquentiels dans les data streams. Dans cette section, nous donnons un aperçu de [GIA 03],[TEN 03] et [RAI 05] FP-Streaming : extraction d itemsets fréquents Les auteurs de [GIA 03] décrivent une approche basée sur un environnement de batches et introduisent la structure FP-stream, qui permet de stocker les motifs fréquents et l évolution de leur fréquence dans le temps. Pour chaque batch, les motifs fréquents sont extraits à l aide de la méthode FP-Growth appliquée sur une structure de FP-tree qui représente les séquences du batch. Une fois les motifs fréquents extraits, la structure FP-stream ne retient que les motifs fréquents et la structure de Tilted Time Window 2 qui lui est associée. 2. La structure de Tilted Time Window est présentée et illustrée en section 4

5 3.2. FTP-DS : extraction de motifs temporels Dans [TEN 03] une méthode de regression est présentée afin d extraire les motifs d un data stream. Les auteurs proposent d enregistrer les motifs temporels extraits. Ces motifs sont représentés grace à une méthode de régression. La méthode FTP-DS qui est proposée par [TEN 03] traite les transaction par intervalles de temps. A chaque changement d intervalle, FTP-DS fait une passe sur les données de cet intervalle avec les fréquents de l intervalle précédent. FTP-DS propose alors un nouvel ensemble de candidats et refait une passe sur le nouvel intervalle avec ces candidats. Ce processus ce repète pendant la durée du data stream. FTP-DS est conçu pour extraire des motifs inter-transactions. Ces motifs sont en fait des itemsets et non des séquences, mais leur support est calculé en considérant qu un motif peut être supporté en partie par une transaction et en partie par une autre... Les auteurs expliquent que ce schéma peut être étendu à la fouille de motifs séquentiels. Cependant, nous expliquons dans [MAR 06] nos raisons de croire qu une fouille exhaustive des motifs séquentiels d un data stream peut conduire à un blocage du data stream SPEED : extraction de motifs séquentiels dans les data streams Dans [RAI 05] les auteurs proposent d extraire les motifs séquentiels d un data streams à l aide d une structure arborescente originale et efficace. Leur problème de recherche est similaire à celui qui est présenté dans ce papier, dans la mesure où ils cherchent des motifs séquentiels selon des critères de fréquence et gèrent l historique des motifs extraits à l aide de Tilted Time Windows. La structure d arbre proposée prend en compte les inclusions de séquences d un batch dans le but d optimiser leur gestion. De plus, cet arbre propose une technique de région dans le but de regrouper les sous-séquences d une séquence. 4. SMDS : une méthode d extraction de motifs séquentiels fréquents dans les data streams Dans [MAR 06] nous avons proposé SMDS, une méthode d extraction de motifs séquentiels fréquents dans les data streams. Dans cette section, nous proposons une vue synthétique sur le principe de SMDS. SMDS repose sur les étapes suivantes (illustrées par la figure 2) : 1) Découpage du data stream en batches de taille fixe. Les batches contiennent le même nombre de transactions, mais le nombre de séquences peut varier en fonction de leur taille. Le reste de la description de SMDS concerne le traitement de chaque batch. 2) Classification des séquences contenues dans le batch. Cette étape est réalisée grâce à un algorithme naïf. Cet algorithme naïf est basé sur la plus longue sous-

6 séquence commune entre deux séquences (PLSC). L algorithme est initialisé avec une seule classe, qui contient la première navigation. Ensuite, pour chaque navigation n dans le batch, n est comparée avec chaque cluster c. Aussitôt que n est similaire à une séquence de c alors n est insérée dans c. Si n n est insérée dans aucun cluster, alors un nouveau cluster est crée et n est insérée dans ce nouveau cluster. La similitude entre deux séquences (sim(s 1, s 2 )) est donnée dans la définition 4. s est insérée dans c si la condition suivante est respectée : s c c/sim(s, s c ) minsim, avec minsim la similitude minimum, spécifiée par l utilisateur. 3) Alignement des séquences de chaque cluster. Dans cette étape, SMDS utilise une technique d alignement des séquences (décrite en section 5.1) afin de résumer chaque cluster. La séquence alignée obtenue à partir d un cluster, sera considérée comme une séquence fréquente extraite à partir du batch. 4) Stockage et gestion des séquences. Un enjeu majeur de l extraction de motifs dans les data streams se situe dans la gestion de l historique des motifs extraits. En effet, cet historique représente le suivi d un motif et son évolution au fil du data stream (la vision sur un seul batch étant trop peu informative pour l utilisateur final). Pour gérer les motifs nous avons choisi de les stocker dans une structure d arbre préfixé. A chaque noeud de l arbre est ensuite associée une structure de donnée du type Tilted Time Window [GIA 03]). La structure de Tilted Time Window repose sur l idée que l on est plus intéressé par les événements récents que par les événements passés. Il s agit donc de retenir le support d un motif avec une granularité fine pour les batches récents et une granularité élevée (on fusionne plusieurs batches et on ne retient que le support moyen) pour les batches plus anciens. Par exemple, dans la figure 2, à l étape 4, les séquences < (a) (b) (d) >, < (a) (b) (e) > et < (m) (n) (p) > sont stockées dans un arbre préfixé. La séquence < (m) (n) (p) > est associée à la table de Tilted Time Window qui contient cinq valeurs de support. Cette table s interprète de la manière suivante : pour le batch n 1, le support de la séquence est de 18%, pour le batch n 2 ce support est de 20%. Ensuite, pour les batches plus éloignés, une approximation sur le support est introduite. On fusionne donc les batches 3 et 4 pour conserver un support moyen de 17%. Puis on fusionne les supports des batches 5 à 8 (16%) et enfin les batches 9 à 16 (8%). La mise à jour de cette structure se fait en cascade (décalages successifs et mise à jour incrémentale des supports moyens). Définition 4 Soient s 1 et s 2 deux motifs séquentiels. Soit P LSC(s 1, s 2 ) la longueur de la plus longue sous-séquence commune entre s 1 et s 2. La distance dist(s 1, s 2 ) entre s 1 et s 2 est définie de la manière suivante : dist = 1 2 P LSC(s 1,s 2) longueur(s 1)+longueur(s 2). Notre objectif, dans ce travail, est d améliorer les temps de réponse de l algorithme SMDS, tout en conservant une qualité optimale des clusters. Notre méthode SCDS, développée dans ce sens, est présentée dans la section 5.

7 Figure 2. Vue d ensemble des étapes de SMDS. 5. SCDS : principe général Notre méthode est basée sur un environnement de découpage du data stream en batches de taille fixe. Soient B 1, B 2,...B n, les batches et B n, le batch courant. Le principe de SCDS est de segmenter les séquences contenues dans chaque batch b de [B 1..B n ]. Dans le but d obtenir une classification des navigations aussi rapidement que possible, notre approche fonctionne de la manière suivante : l algorithme est initialisé avec une seule classe, qui contient la première navigation. Ensuite, pour chaque navigation n dans le batch, n est comparée avec chaque cluster c. Soit c le cluster dont le centroïde est le plus proche de n, alors n est insérée dans c. Si n n est insérée dans aucun cluster, alors un nouveau cluster est crée et n est insérée dans ce nouveau cluster. Trois étapes sont donc essentielles dans ce processus. La première est le calcul du centroïde ς c du cluster c. Ce calcul est détaillé dans la section 5.1. Ensuite pour comparer la séquence de navigation n avec le cluster c, nous proposons de définir la similitude entre n et le centroïde de c. Cette étape est expliquée dans la section 5.2. Enfin, l ajout d une séquence dans un cluster implique de mettre à jour son centroïde.

8 Etape 1 : S 1 : <(a,c) (e) () (m,n)> S 2 : <(a,d) (e) (h) (m,n)> SA 12 : (a :2, c :1, d :1) :2 (e :2) :2 (h :1) :1 (m :2, n :2) :2 Etape 2 : SA 12 : (a :2, c :1, d :1) :2 (e :2) :2 (h :1) :1 (m :2, n :2) :2 S 3 : <(a,b) (e) (i,j) (m)> SA 13 : (a :3, b :1, c :1, d :1) :3 (e :3) :3 (h :1, i :1, j :1) :2 (m :3, n :2) :3 Etape 3 : SA 13 : (a :3, b :1, c :1, d :1) :3 (e :3) :3 (h :1, i :1, j :1) :2 (m :3, n :2) :3 S 4 : <(b) (e) (h,i) (m)> SA 14 : (a :3, b :2, c :1, d :1) :4 (e :4) :4 (h :2, i :2, j :1) :3 (m :4, n :2) :4 Figure 3. Etapes de l alignement de séquences 5.1. Calcul du centroïde Le centroïde du cluster est déterminé par une technique d alignement appliquée sur le cluster (comme [KUM 03, HAY 02] l ont déjà utilisée pour la fouille de bases de données statiques). A l initialisation d un cluster son centroïde est la séquence unique qu il contient. L alignement des séquences renvoie une séquence alignée du type : SA =< I 1 : n 1, I 2 : n 2,..., I r, n r >: m. Dans cette représentation, m représente le nombre total de séquences impliquées dans l alignement. I p (1 p r) est un itemset représenté sous la forme (x i1 : m i1,...x it : m it ), où m it est le nombre de séquences qui contiennent l item x i à la p eme position dans la séquence alignée. Enfin, n p est le nombre d occurrences de l itemset I p dans l alignement. L exemple 2 décrit le processus d alignement de quatre séquences. À partir de deux séquences, l alignement commence par insérer des itemsets vides (au début, au milieu ou à la fin des séquences) jusqu à ce que les deux séquences contiennent le même nombre d itemsets. Exemple 2 Considérons les séquences suivantes : S 1 =< (a,c) (e) (m,n) >, S 2 =< (a,d) (e) (h) (m,n) >, S 3 =< (a,b) (e) (i,j) (m) > et S 4 =< (b) (e) (h,i) (m) >. Les étapes conduisant à l alignement de ces séquences sont détaillées dans la figure 3. Tout d abord, un itemset vide est inséré dans S 1. Ensuite S 1 et S 2 sont alignées dans le but de produire SA 12. Le processus d alignement est alors appliqué entre SA 12 et S 3. La méthode d alignement continue à traiter les séquences deux par deux jusqu à la dernière séquence. À la fin du processus d alignement, la séquence alignée (SA 14 dans la figure 3) est considérée comme le centroïde du cluster. Dans SCDS, l alignement se fait de manière incrémentale à chaque ajout d une séquence dans le cluster. Pour cela nous maintenons

9 Séq a b c s s Séq n i=1 similmatrice(s, s i) s 1 16 s 2 14 s n 13 s s n 1 1 Figure 4. Distances entre les séquences une matrice de comptage des items dans chaque séquence et un tableau des distances entre chaque séquence et les autres. Ces éléments sont illustrés par la figure 4. La matrice (à gauche) stocke pour chaque séquence le nombre d apparitions de chaque item dans cette séquence. Par exemple la séquence s 1 contient deux fois l item a. Le tableau des distances stocke la somme des similitudes (similm atrice) entre chaque séquence et les autres séquences du cluster. Soit s 1i le nombre d apparitions de l item i dans la séquence s 1 et m le nombre total d items. similmatrice est calculé grâce à la matrice de la manière suivante : similmatrice(s 1, s 2 ) = m i=1 min(s 1 i, s 2i ). Par exemple, avec les séquences s 1 et s 2 de la matrice donnée à la figure 4 cette somme vaut s 1a + s 2b + s 2c = = 2. Cet alignement n est cependant pas toujours calculé de manière incrémentale. Considérons l ajout d une séquence s n. Tout d abord s n est ajoutée à la matrice et sa distance aux autres séquences est calculée ( n i=1 similmatrice(s n, s i )). s n est alors insérée dans le tableau de distances, en gardant l ordre décroissant des valeurs de distances. Par exemple, dans la figure 4, s n est insérée après s 2. Soit r le rang auquel s n est insérée (dans notre exemple, r = 2) dans c. Il y a alors deux possibilités après l insertion de s n : 1) r > 0.5 c. Dans ce cas, l alignement est calculé de manière incrémentale et ς c = alignement(ς c, s n ). 2) r 0.5 c. Dans ce cas il faut rafraîchir le centroïde du cluster et l alignement est recalculé pour toutes les séquences du cluster Comparaison séquence/centroïde Soit s la séquence à affecter dans un cluster et C l ensemble des clusters. SCDS parcourt l ensemble des clusters de C et pour chaque cluster c C, effectue une comparaison entre s et ς c (le centroïde de c, qui est donc un alignement). Cette com-

10 paraison est basée sur la plus longue sous-séquence commune (PLSC) entre s et ς c. Ensuite, la longueur de la séquence est également prise en compte car elle doit être comprise entre 80% et 120% de la longueur de la séquence alignée. Soit t la longueur de la première séquence insérée dans c. Les conditions pour que s soit affectée à c sont donc les suivantes : d C/d c, dist(s, ς c ) dist(s, ς d ) 0.8 t s 1.2 t dist(s, ς c ) < 0.3 La première condition assure que s est affectée dans le cluster dont le centroïde est le plus similaire à s. La deuxième condition assure que les clusters contiendront des séquences de taille homogène et que la taille moyenne des séquences d un cluster variera peu. Enfin la troisième condition assure que si aucun centroïde ayant un degré de similitude supérieur à 70% avec s n est trouvé, alors s n est affecté à aucun cluster. Dans ce dernier cas, un nouveau cluster est crée et s y est affectée. 6. Expérimentations SCDS a été implémenté en Java sur un Pentium (2,1 Ghz) exploité par un système Linux Fedora. Nous avons évalué notre proposition sur des réelles issues des usages du Web de l Inria Sophia Antipolis Temps de réponse et robustesse de SCDS Figure 5. Temps d exécution de SCDS.

11 Dans le but de montrer l efficacité de SCDS, nous reportons à la figure 5 le temps nécessaire pour classer les séquences sur chaque batch correspondant à des données d usage sur le site Web de l Inria. Les données ont été collectées sur une période de 14 mois et représentent 14 Go. Le nombre total de navigations est de 3,5 millions pour navigations. Nous avons découpé le fichier log en batches de 4500 transactions (soit environ 1500 séquences en moyenne). Nous avons comparé ce temps de réponse à celui de SMDS [MAR 06] qui n optimise pas la phase de clustering. En effet dans SMDS, la séquence à classer s est comparée à toutes les séquences de tous les clusters, jusqu à ce que l un des clusters présente une séquence compatible avec s. Nous pouvons observer que le temps de réponse de SCDS varie de 1000 ms à 2000 ms alors que le temps d exécution de SMDS varie de 2500 ms à 4000 ms. Nous avons ajouté à la figure 5 le nombre de séquences de chaque batch pour expliquer les différences de temps d exécution d un batch à un autre. On peut observer, par exemple, que le batch 1 contient 1750 séquences et que SCDS demande 1400 ms pour en extraire les motifs séquentiels. Figure 6. Clustering hiérarchique des séquences d un batch. Nous avons également implémenté un clustering hiérarchique sur les séquences de chaque batch. Le principe de ce clustering est décrit par la figure 6. Chaque séquence du batch est d abord considérée comme un cluster (voir étape 0 de la figure 6). A chaque étape la matrice des similitudes entre chaque cluster est calculée. Par exemple entre <(a)(b)> et <(b)(c)> la similitude est de 50%, les deux séquences partagent en effet la moitié de leurs informations. Entre <(a)(b)> et <(d)(e)> en revanche, la similitude est de 0%. Les deux séquences n ont rien en commun. Les deux clusters les plus proches (ici il s agit d un ex-aequo entre {<(a)(b)>, <(b)(c)>} d un côté et {<(d)(e)>, <(d)(f)>} de l autre) sont regroupés en un seul cluster. L étape 2 de la figure 6 nous montre en effet trois clusters : {<(a)(b)>, <(b)(c)>}, {<(d)(e)>} et {<(d)(f)>}. Ce processus est alors réitéré jusqu à ce que plus aucun cluster n affiche une similitude supérieure à zéro avec au moins un des clusters restants. La dernière étape de la figure 6 nous montre donc le résultat de cette classification : {<(a)(b)>, <(b)(c)>} et {<(d)(e)>, <(d)(f)>}.

12 La comparaison avec les temps d exécution du clustering hiérarchique est reportée à la figure 7 pour les 10 premiers batches. On peut y observer que SCDS obtient les résultats en un temps compris entre 1000 ms et 2000 ms. Le clustering hiérarchique nécessite entre ms et ms. Plus précisément, le temps d exécution moyen de SCDS est de 1485 ms, contre ms pour le clustering hiérarchique. Figure 7. Temps de réponses du clustering hiérarchique et de SCDS pour 10 batches 6.2. Analyse de la qualité des clusters Figure 8. Distance globale, batch par batch

13 Afin de mesurer la qualité des classes produites par SCDS, notre principal outil sera la distance entre deux séquences. Soit s 1 et s 2, deux séquences, la distance dist(s 1, s 2 ) entre s 1 et s 2 est basée sur sim(s 1, s 2 ), la mesure de similitude donnée par la définition 4 et telle que dist(s 1, s 2 ) = 1 sim(s 1, s 2 ). On a donc dist(s 1, s 2 ) [0..1] et dist(s 1, s 2 ) proche de 0 signifie que les séquences sont proches (similaires si cette valeur est nulle) alors que dist(s 1, s 2 ) proche de 1 signifie que les séquences sont éloignées (ne partagent aucun item si cette valeur est 1). Nous reportons dans la figure 8 la double moyenne DBM après avoir traité chaque batch. Soit C l ensemble des classes, DBM est calculée de la manière suivante : DBM = i C dist(x,c i ) x C i C i C Avec c i le centre de C i (la i eme classe). Soit C i la i eme classe, le centre de C i est une séquence c i telle que : s C i, x C i dist(s, x) y C i dist(c i, y). La valeur finale de DBM à la fin du batch est donnée par la figure 8. On peut y observer que DBM est comprise entre 15% et 45%. A la fin du processus, la valeur moyenne de DBM est de 28% (une qualité moyenne des classes de 72%). Afin de compléter notre étude de la qualité des clusters obtenus avec SCDS, nous avons utilisé les mesures d entropie et pureté, par comparaison avec les clusters obtenus par le clustering hiérarchique. L entropie d un cluster C de taille n r est calculée selon la formule suivante : E(C) = 1 logq q i=1 n i r n r log ni r n r, où q est le nombre total de clusters et n i r est le nombre de séquences du i eme cluster qui font partie du cluster C. L entropie du clustering est ensuite donnée par la formule : Entropie = k n r r=1 n E(C r ), avec n le nombre total de séquences. On considère qu une petite valeur d entropie traduit un bon clustering (par rapport au clustering de référence). La pureté d un cluster est donnée définie par : P (C r ) = 1 n r max(n i r ) et la pureté du clustering est donnée par la formule suivante : P urete = k n r r=1 n P (C r ). Une grande valeur de pureté traduit un bon clustering par rapport au clustering de référence.

14 Les valeurs que nous avons obtenues pour l entropie et la pureté sur les 10 premiers batches sont données dans le tableau suivant : Batch Entropie Pureté 1 0, , , , , , , , , , , , , , , , , , , , On peut observer que la valeur de l entropie se situe entre et 0.02 et que la valeur de la pureté se situe entre 0.92 et Lors de ces expérimentations, la valeur moyenne de l entropie a été de et la valeur moyenne de la pureté a été de Conclusion Dans ce papier, nous avons proposé la méthode SCDS pour classer les séquences dans les data streams. Notre algorithme repose sur une technique d alignement des séquences et un clustering basé sur une comparaison des séquences avec le centroïde de chaque cluster. Ce centroïde est représenté par l alignement calculé sur le cluster de manière incrémentale. Nos expérimentations ont montré que SCDS traite le data stream assez rapidement pour être intégré dans un contexte temps réel. En effet les temps de réponse de SCDS montrent que ce dernier est bien plus performant que SMDS, proposé dans une communication précédente. Enfin nous avons proposé, lors de nos expérimentations, une comparaison de SCDS avec un clustering hiérarchique. Cette comparaison est faite de point de vue des temps d exécution mais également sur le plan de la qualité des résultats. Nous avons montré que les clusters sont très satisfaisants avec SCDS (entropie et pureté) pour des temps d exécution très largement inférieurs. 8. Bibliographie [AGR 95] AGRAWAL R., SRIKANT R., «Mining Sequential Patterns», Proceedings of the 11th International Conference on Data Engineering (ICDE 95), Taiwan, March [CHA 03] CHANG J. H., LEE W. S., «Finding recent frequent itemsets adaptively over online data streams», KDD 03 : Proceedings of the ninth international conference on Knowledge discovery and data mining, 2003, p [COR 05] CORMODE G., MUTHUKRISHNAN S., «What s hot and what s not : tracking most frequent items dynamically», ACM Trans. Database Syst., vol. 30, n o 1, 2005, p

15 [DAT 02] DATAR M., GIONIS A., INDYK P., MOTWANI R., «Maintaining stream statistics over sliding windows», Proceedings of the thirteenth annual ACM-SIAM symposium on Discrete algorithms (SODA), 2002, p [GAR 02] GAROFALAKIS M., GEHRKE J., RASTOGI R., «Querying and mining data streams : you only get one look a tutorial», SIGMOD 02 : Proceedings of the 2002 ACM SIGMOD international conference on Management of data, [GIA 03] GIANNELLA C., HAN J., PEI J., YAN X., YU P., «Mining Frequent Patterns in Data Streams at Multiple Time Granularities», In H. Kargupta, A. Joshi, K. Sivakumar, and Y. Yesha (eds.), Next Generation Data Mining, AAAI/MIT, [HAY 02] HAY B., WETS G., VANHOOF K., «Web Usage Mining by Means of Multidimensional Sequence Alignment Method», WEBKDD, 2002, p [KUM 03] KUM H., PEI J., WANG W., DUNCAN D., «ApproxMAP : Approximate Mining of Consensus Sequential Patterns», Proceedings of SIAM Int. Conf. on Data Mining, San Francisco, CA, [MAI ] MAIDS, «MAIDS project : http ://maids.ncsa.uiuc.edu/index.html». [MAR 06] MARASCU A., MASSEGLIA F., «Extraction de motifs séquentiels dans les flots de données d usage du Web», Actes des 6èmes journées "extraction et gestion des connaissances" (EGC 06), Lille, France, [MAS 98] MASSEGLIA F., CATHALA F., PONCELET P., «The PSP Approach for Mining Sequential Patterns», Proceedings of the 2nd European Symposium on Principles of Data Mining and Knowledge Discovery, Nantes, France, September [MAS 00] MASSEGLIA F., PONCELET P., CICCHETTI R., «An efficient algorithm for Web usage mining», Networking and Information Systems Journal (NIS),, April [Q.Z 03] Q. ZHENG K. X., MA S., «When to Update the Sequential Patterns of Stream Data?», 7th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD), 2003, p [RAI 05] RAISSI C., PONCELET P., TEISSEIRE M., «Need for SPEED : Mining Sequential Pattens in Data Streams», Actes des 21iemes Journees Bases de Donnees Avancees (BDA 2005), October [SRI 96] SRIKANT R., AGRAWAL R., «Mining Sequential Patterns : Generalizations and Performance Improvements», Proceedings of the 5th International Conference on Extending Database Technology (EDBT 96), Avignon, France, September 1996, p [TEN 03] TENG W.-G., CHEN M.-S., YU P. S., «A Regression-Based Temporal Pattern Mining Scheme for Data Streams», VLDB, 2003, p