Un algorithme de complexité O( S ) pour calculer la distance de transfert entre deux partitions de S

Transcription

1 Un algorithme de complexité O( S ) pour calculer la distance de transfert entre deux partitions de S Daniel Porumbel 1, Jin-Kao Hao 2, Pascale Kuntz 3 1 Univ. Lille Nord de France, UArtois, LGI2A, rue de l université FSA, Béthune, France 2 Université d Angers, LERIA, 2 Bd Lavoisier, Angers, France 3 Université de Nantes, LINA, rue Christian Pauc, Nantes, France Daniel Porumbel Distance de transfert entre partitions en O(n) 1 / 14

2 Introduction Contexte et Objectifs Introduction k-partition d ensemble S = une division de S en k classes disjointes La distance de transfert entre partitions est définie depuis 1965 [Régnier, Sur quelques aspects mathématiques des problèmes de classification automatique] = le nombre minimal d éléments de S qui doivent être transférés entre les classes d une partition pour obtenir l autre De domaines très varies peuvent faire appel au calcul de cette distance Partitionnement, clustering, segmentation d image, etc. Exemple: calculer la distance entre une partition/segmentation idéale (le golden standard ) et celle (re-) construite par un algorithme Optimisation combinatoire dans un espace de recherche à base de partitions: e.g., partitionnement, coloration exemple détaillé à suivre Daniel Porumbel Distance de transfert entre partitions en O(n) 2 / 14

3 Introduction Contexte et Objectifs Objectifs Méthodologie { classique de calcul: réduction à un problème d affectation linéaire+ résolution de ce problème avec la méthode hongroise complexité entre O(n + k 3 ) et O(n + k 2 ) n = S présentée en 1981 [Day, The complexity of computing metric distances between partitions, 1981] et encore utilisée [Gusfield, Partition-distance: A problem and class of perfect graphs arising in clustering, 2002], [Konovalov, Partition-distance via the assignment problem, 2005], [Charon et. al., Maximum Transfer Distance Between Partitions, 2006], [Talbi et. al., Breaking the search space symmetry in partitioning problems: An application to the graph coloring problem, 2007]. Objectif: Réduire La Complexité à O(n) Définir formellement les cas où cette complexité peut être atteinte ces cas O(n) sont souvent associés avec des distance petites (< n 5 ) Une implémentation (pour une heuristique de coloration de graphe) montre que > 99% des distances petites appartient à ces cas O(n) Daniel Porumbel Distance de transfert entre partitions en O(n) 3 / 14

4 Introduction Contexte et Objectifs Objectifs Méthodologie { classique de calcul: réduction à un problème d affectation linéaire+ résolution de ce problème avec la méthode hongroise complexité entre O(n + k 3 ) et O(n + k 2 ) n = S présentée en 1981 [Day, The complexity of computing metric distances between partitions, 1981] et encore utilisée [Gusfield, Partition-distance: A problem and class of perfect graphs arising in clustering, 2002], [Konovalov, Partition-distance via the assignment problem, 2005], [Charon et. al., Maximum Transfer Distance Between Partitions, 2006], [Talbi et. al., Breaking the search space symmetry in partitioning problems: An application to the graph coloring problem, 2007]. Objectif: Réduire La Complexité à O(n) Définir formellement les cas où cette complexité peut être atteinte ces cas O(n) sont souvent associés avec des distance petites (< n 5 ) Une implémentation (pour une heuristique de coloration de graphe) montre que > 99% des distances petites appartient à ces cas O(n) Daniel Porumbel Distance de transfert entre partitions en O(n) 3 / 14

5 Introduction Définitions Distance et Similarité Définition et Exemple de Distance de Transfert: Soit P 1 et P 2 deux k-partitions: La distance d(p 1, P 2 ) est le nombre minimum d éléments qui doivent être transférés entre les classes d une partition pour obtenir l autre Elle se comporte comme la distance d édition P1: Combien de transferts pour égaliser les deux partitions? P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 4 / 14

6 Introduction Définitions Distance et Similarité Définition et Exemple de Distance de Transfert: Soit P 1 et P 2 deux k-partitions: La distance d(p 1, P 2 ) est le nombre minimum d éléments qui doivent être transférés entre les classes d une partition pour obtenir l autre Elle se comporte comme la distance d édition P1: P'2: P2: <= après 2 transferts Daniel Porumbel Distance de transfert entre partitions en O(n) 4 / 14

7 } Introduction } Définitions Distance et Similarité Définition et Exemple de Distance de Transfert: Soit P 1 et P 2 deux k-partitions: La distance d(p 1, P 2 ) est le nombre minimum d éléments qui doivent être transférés entre les classes d une partition pour obtenir l autre Elle se comporte comme la distance d édition P1: P1=P2' P'2: } } } } P2: <= après 2 transferts Daniel Porumbel Distance de transfert entre partitions en O(n) 4 / 14

8 Introduction Définitions Distance et Similarité Similarité entre partitions Soit P 1 et P 2 deux k-partitions de S: La similarité s(p 1, P 2 ) est le nombre maximum d éléments qui n ont pas besoin d être transférés pour arriver d une partition à l autre La distance est calculé via: d(p 1, P 2 ) = n s(p 1, P 2 ) P1: P2: FIXE TRANSFÉRÉ 7 éléments fixes, 2 éléments transférés (P 1, P 2 ) + d(p 1, P 2 ) = = 9 Daniel Porumbel Distance de transfert entre partitions en O(n) 5 / 14

9 Résumé 1 Introduction Contexte et Objectifs Définitions Distance et Similarité 2 Calcul Méthode Classique Nouvelle Méthode Théorèmes pour le calcul de l affectation maximale en O(n) 3 Conclusions et Applications

10 Méthode Classique Calcul similarité - méthode classique Deux étapes: P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 6 / 14

11 Méthode Classique Calcul similarité - méthode classique Étape 1 Construire la matrice de similarité T = [T ij ] k k où: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) Étape 2 Calculer une affectation maximale σ : {1, 2,..., k} {1, 2,..., k} sur T.La similarité s(p 1, P 2 ) est: max σ 1 i k T i,σ(i) P1: P2: => T(Mat. de Similarité) Daniel Porumbel Distance de transfert entre partitions en O(n) 6 / 14

12 Méthode Classique Calcul similarité - méthode classique Étape 1 Construire la matrice de similarité T = [T ij ] k k où: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) Étape 2 Calculer une affectation maximale σ : {1, 2,..., k} {1, 2,..., k} sur T.La similarité s(p 1, P 2 ) est: max σ 1 i k T i,σ(i) P1: P2: => T(Mat. de Similarité) Daniel Porumbel Distance de transfert entre partitions en O(n) 6 / 14

13 Méthode Classique Calcul similarité - méthode classique Étape 1 Construire la matrice de similarité T = [T ij ] k k où: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) Étape 2 Calculer une affectation maximale σ : {1, 2,..., k} {1, 2,..., k} sur T.La similarité s(p 1, P 2 ) est: max σ 1 i k T i,σ(i) P1: P2: => T(Mat. de Similarité) =>Similarité = 7 (distance = n - 7 = 2) Daniel Porumbel Distance de transfert entre partitions en O(n) 6 / 14

14 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) T 11 = P 1 1 P 1 2 = {1, 2} {1} = 1 P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

15 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) T 12 = P 1 1 P 2 2 = {1, 2} {2, 3, 4, 8} = 1 P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

16 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) T 13 = P 1 1 P 3 2 = {1, 2} {5, 9} = 0 P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

17 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) T 14 = P 1 1 P 3 2 = {1, 2} {6, 7} = 0 P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

18 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) T 22 = P 2 1 P 2 2 = {3, 4} {2, 3, 4, 8} = 0 P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

19 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) Après le calcul de k 2 = 16 intersections:..... P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

20 Méthode Classique Calcul Matrice de Similarité : Méthode Classique Par définition: La matrice de similarité T = [T ij ] k k est calculée via: T ij = P i 1 Pj 2 (P i 1 =i-ème classe de P 1, P j 2 =j-ème classe de P 2) l affectation maximale est construite via l algorithme hongrois qui trouve l affectation minimale sur T = [T ij ] k k où T ij = n T ij P1: P2: Daniel Porumbel Distance de transfert entre partitions en O(n) 7 / 14

21 Résumé 1 Introduction Contexte et Objectifs Définitions Distance et Similarité 2 Calcul Méthode Classique Nouvelle Méthode Théorèmes pour le calcul de l affectation maximale en O(n) 3 Conclusions et Applications

22 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 P1: P2: ???????????????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

23 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 1 (P 1 [1], P 2 [1]) = (1, 1) T 1,1 = 0 P1: P2: ? 0??????????????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

24 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 2 (P 1 [2], P 2 [2]) = (1, 2) T 1,2 = 0 P1: P2: ? 0? 0?????????????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

25 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 3 (P 1 [3], P 2 [3]) = (2, 2) T 2,2 = 0 P1: P2: ? 0? 0???? 0?????????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

26 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 4 (P 1 [4], P 2 [4]) = (2, 2) T 2,2 = 0 P1: P2: ? 0? 0???? 0?????????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

27 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 5 (P 1 [5], P 2 [5]) = (3, 3) T 3,3 = 0 P1: P2: ? 0? 0???? 0???? 0?????? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

28 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 Le dernier est x = 9; après n = 9 pas l algorithme a découvert les positions clé, celles qui ne sont pas?? P1: ? 0???? 0???? 0? 0? P2: ???? 0 0 Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

29 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 1 (P 1 [1], P 2 [1]) = (1, 1) T 1,1 = = 1 P1: P2: ? 01? 0???? 0???? 0? 0?? 0? 0?? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

30 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 2 (P 1 [2], P 2 [2]) = (1, 2) T 1,2 = = 1 P1: P2: ? 01? 01???? 0???? 0? 0?? 0? 0?? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

31 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 3 (P 1 [3], P 2 [3]) = (2, 2) T 2,2 = = 1 P1: P2: ? 01? 01???? 01???? 0? 0?? 0? 0?? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

32 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 x = 4 (P 1 [4], P 2 [4]) = (2, 2) T 2,2 = = 2 P1: P2: ? 01? 01???? 02???? 0? 0?? 0? 0?? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

33 Nouvelle Méthode Calcul Matrice de Similarité : Nouvelle Methode 1 Allocation matrice k k sans initialization: O(1) temps 2 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := 0 3 parcourir les éléments x {1, 2,..., n} et affecter T P1 [x],p 2 [x] := T P1 [x],p 2 [x] + 1 Après n = 9 pas l algorithme a calculé les éléments clé ; les non-zéro. (les? sont zéro et on va les ignorer) P1: P2: ? 01? 01???? 02???? 1? 2?? 1? 1?? Daniel Porumbel Distance de transfert entre partitions en O(n) 8 / 14

34 Résumé 1 Introduction Contexte et Objectifs Définitions Distance et Similarité 2 Calcul Méthode Classique Nouvelle Méthode Théorèmes pour le calcul de l affectation maximale en O(n) 3 Conclusions et Applications

35 Théorèmes pour le calcul de l affectation maximale en O(n) Affectation Maximale: Nouvelle méthode 1 Calculer la matrice T incomplète, i.e. les éléments clé, en O(n) 2 Utiliser des théorèmes qui garantissent que l affectation maximale peut être calculée juste avec les éléments clés. Pour cela, parcourir les éléments clé plusieurs fois et déterminer: la plus grande valeur Max1 sur chaque ligne/colonne, en O(n) la deuxième plus grande valeur Max2 sur chaque ligne/colonne,en O(n) la position des valeurs qui sont maximales sur leurs ligne et leurs colonne, les valeurs encercles ci-dessous, en O(n) Max1/Max2 1/0 2/1 1/1 2/0 1/1 1 1?? 2/0? 2?? 2/1?? 1 2 1/1? Daniel Porumbel Distance de transfert entre partitions en O(n) 9 / 14

36 Théorèmes pour le calcul de l affectation maximale en O(n) Un théorème basique Theorem Si pour toute ligne i du T, il existe une colonne j tel que T ij > T ij + T i j (où i i, j j ), alors la distance peut être calculée en O(n). Il faut juste trouver l affectation maximale σ; on montre σ(i) = j T ij doit être l unique maximum de ligne i, car l inégalité est stricte Il suffit de parcourir les éléments clé pour trouver ce maximum de ligne T ij et vérifier la condition Supposons qu il y a une affectation maximale σ avec σ(i) = j j et σ(i ) = j: Construisons une affectation γ à partir de σ via une inversion des valeurs en i et i, i.e. γ(i) = j, γ(i ) = j. Comme T iγ(i) + T i γ(i ) T ij > T iσ(i) + T i σ(i ), σ n est pas maximale contradiction, i.e. il n est pas possible que σ(i) j. Daniel Porumbel Distance de transfert entre partitions en O(n) 10 / 14

37 Théorèmes pour le calcul de l affectation maximale en O(n) Un théorème basique Theorem Si pour toute ligne i du T, il existe une colonne j tel que T ij > T ij + T i j (où i i, j j ), alors la distance peut être calculée en O(n). Il faut juste trouver l affectation maximale σ; on montre σ(i) = j T ij doit être l unique maximum de ligne i, car l inégalité est stricte Il suffit de parcourir les éléments clé pour trouver ce maximum de ligne T ij et vérifier la condition Supposons qu il y a une affectation maximale σ avec σ(i) = j j et σ(i ) = j: Construisons une affectation γ à partir de σ via une inversion des valeurs en i et i, i.e. γ(i) = j, γ(i ) = j. Comme T iγ(i) + T i γ(i ) T ij > T iσ(i) + T i σ(i ), σ n est pas maximale contradiction, i.e. il n est pas possible que σ(i) j. Daniel Porumbel Distance de transfert entre partitions en O(n) 10 / 14

38 Théorèmes pour le calcul de l affectation maximale en O(n) Un théorème basique Theorem Si pour toute ligne i du T, il existe une colonne j tel que T ij > T ij + T i j (où i i, j j ), alors la distance peut être calculée en O(n). Il faut juste trouver l affectation maximale σ; on montre σ(i) = j T ij doit être l unique maximum de ligne i, car l inégalité est stricte Il suffit de parcourir les éléments clé pour trouver ce maximum de ligne T ij et vérifier la condition Supposons qu il y a une affectation maximale σ avec σ(i) = j j et σ(i ) = j: Construisons une affectation γ à partir de σ via une inversion des valeurs en i et i, i.e. γ(i) = j, γ(i ) = j. Comme T iγ(i) + T i γ(i ) T ij > T iσ(i) + T i σ(i ), σ n est pas maximale contradiction, i.e. il n est pas possible que σ(i) j. Daniel Porumbel Distance de transfert entre partitions en O(n) 10 / 14

39 Théorèmes pour le calcul de l affectation maximale en O(n) Décompositions sans équivalent dans la méthode hongroise Le théorème précédent nécessite des conditions sur chaque ligne Similaire aux cas de la méthode hongroise où on trouve k zéros mutuellement indépendants Theorem Si pour une ligne i, il y a une colonne j tel que T ij T ij + T i j i i, j j, il existe une affectation maximale telle que σ(i) = j. Si le nombre de lignes i qui ne satisfont pas cette condition est borné par 3 n, alors la distance peut être calculée en O(n). L existence d un σ maximal (pas forcement unique) avec σ(i) = j est prouvée comme dans le théorème précédent Il suffit de parcourir les éléments clé pour marquer les lignes i et les colonnes j satisfaisant cette condition Un deuxième parcours permet de copier les autres lignes/colonnes dans une matrice de taille réduite sur laquelle on applique la méthode hongroise de complexité maximale O(( 3 n) 3 ) = O(n). Daniel Porumbel Distance de transfert entre partitions en O(n) 11 / 14

40 Théorèmes pour le calcul de l affectation maximale en O(n) Décompositions sans équivalent dans la méthode hongroise Le théorème précédent nécessite des conditions sur chaque ligne Similaire aux cas de la méthode hongroise où on trouve k zéros mutuellement indépendants Theorem Si pour une ligne i, il y a une colonne j tel que T ij T ij + T i j i i, j j, il existe une affectation maximale telle que σ(i) = j. Si le nombre de lignes i qui ne satisfont pas cette condition est borné par 3 n, alors la distance peut être calculée en O(n). L existence d un σ maximal (pas forcement unique) avec σ(i) = j est prouvée comme dans le théorème précédent Il suffit de parcourir les éléments clé pour marquer les lignes i et les colonnes j satisfaisant cette condition Un deuxième parcours permet de copier les autres lignes/colonnes dans une matrice de taille réduite sur laquelle on applique la méthode hongroise de complexité maximale O(( 3 n) 3 ) = O(n). Daniel Porumbel Distance de transfert entre partitions en O(n) 11 / 14

41 Théorèmes pour le calcul de l affectation maximale en O(n) Décompositions sans équivalent dans la méthode hongroise Le théorème précédent nécessite des conditions sur chaque ligne Similaire aux cas de la méthode hongroise où on trouve k zéros mutuellement indépendants Theorem Si pour une ligne i, il y a une colonne j tel que T ij T ij + T i j i i, j j, il existe une affectation maximale telle que σ(i) = j. Si le nombre de lignes i qui ne satisfont pas cette condition est borné par 3 n, alors la distance peut être calculée en O(n). L existence d un σ maximal (pas forcement unique) avec σ(i) = j est prouvée comme dans le théorème précédent Il suffit de parcourir les éléments clé pour marquer les lignes i et les colonnes j satisfaisant cette condition Un deuxième parcours permet de copier les autres lignes/colonnes dans une matrice de taille réduite sur laquelle on applique la méthode hongroise de complexité maximale O(( 3 n) 3 ) = O(n). Daniel Porumbel Distance de transfert entre partitions en O(n) 11 / 14

42 Théorèmes pour le calcul de l affectation maximale en O(n) Décompositions sans équivalent dans la méthode hongroise Le théorème précédent nécessite des conditions sur chaque ligne Similaire aux cas de la méthode hongroise où on trouve k zéros mutuellement indépendants Theorem Si pour une ligne i, il y a une colonne j tel que T ij T ij + T i j i i, j j, il existe une affectation maximale telle que σ(i) = j. Si le nombre de lignes i qui ne satisfont pas cette condition est borné par 3 n, alors la distance peut être calculée en O(n). L existence d un σ maximal (pas forcement unique) avec σ(i) = j est prouvée comme dans le théorème précédent Il suffit de parcourir les éléments clé pour marquer les lignes i et les colonnes j satisfaisant cette condition Un deuxième parcours permet de copier les autres lignes/colonnes dans une matrice de taille réduite sur laquelle on applique la méthode hongroise de complexité maximale O(( 3 n) 3 ) = O(n). Daniel Porumbel Distance de transfert entre partitions en O(n) 11 / 14

43 Théorèmes pour le calcul de l affectation maximale en O(n) Conséquences des décompositions Exemple théorème précédent: Marquer les lignes i et colonnes j tel que T ij T ij + T i j i i, j j Construire une matrice réduite avec les lignes pas marquées 1 < 3 n = 3 9 la méthode classique nécessite O(n) P1: P2: ??? 2???? 1 2? 1 1? Si la matrice réduite est trop grande que peut-on faire en O(n)? identifier les paires de classes P1 i et Pj 2 avec les plus fortes similarités ( P1 i Pj 2 très grand) trouver une borne inférieure pour la similarité trouver un sous-ensemble de S sur laquelle la similarité est importante Daniel Porumbel Distance de transfert entre partitions en O(n) 12 / 14

44 Théorèmes pour le calcul de l affectation maximale en O(n) Conséquences des décompositions Exemple théorème précédent: Marquer les lignes i et colonnes j tel que T ij T ij + T i j i i, j j Construire une matrice réduite avec les lignes pas marquées 1 < 3 n = 3 9 la méthode classique nécessite O(n) P1: P2: ??? 2???? 1 2? 1 1? Si la matrice réduite est trop grande que peut-on faire en O(n)? identifier les paires de classes P1 i et Pj 2 avec les plus fortes similarités ( P1 i Pj 2 très grand) trouver une borne inférieure pour la similarité trouver un sous-ensemble de S sur laquelle la similarité est importante Daniel Porumbel Distance de transfert entre partitions en O(n) 12 / 14 1

45 Théorèmes pour le calcul de l affectation maximale en O(n) Conséquences des décompositions Exemple théorème précédent: Marquer les lignes i et colonnes j tel que T ij T ij + T i j i i, j j Construire une matrice réduite avec les lignes pas marquées 1 < 3 n = 3 9 la méthode classique nécessite O(n) P1: P2: ??? 2???? 1 2? 1 1? Si la matrice réduite est trop grande que peut-on faire en O(n)? identifier les paires de classes P1 i et Pj 2 avec les plus fortes similarités ( P1 i Pj 2 très grand) trouver une borne inférieure pour la similarité trouver un sous-ensemble de S sur laquelle la similarité est importante Daniel Porumbel Distance de transfert entre partitions en O(n) 12 / 14 1

46 Résumé 1 Introduction Contexte et Objectifs Définitions Distance et Similarité 2 Calcul Méthode Classique Nouvelle Méthode Théorèmes pour le calcul de l affectation maximale en O(n) 3 Conclusions et Applications

47 Conclusions et Applications Applications et propriétés intéressantes Le nouvel algorithme a été utilisé pour calculer la distance entre colorations de graphe: Cette distance guide la recherche locale à travers l espace de recherche > 99% des distances petites (< n 5 ) ont nécessité juste O(n) pas pour les autres cas: l effort de tester les conditions est négligeable car O(n) + O(n + k 2 ) = O(n + k 2 ) Autre propriétés: Les valeurs de la distance ont plusieurs bornes précises (ex. n n k ) [Charon et al., Maximum Transfer Distance Between Partitions, 2006] La distance est une métrique [Cardoso et al., Toward a Generic Evaluation of Image Segmentation, 2005] Des comparaisons avec d autres coefficients de similarités (Rand s Index) existent [Denoeud et. al, Comparison of distance indices between partitions, 2006] Daniel Porumbel Distance de transfert entre partitions en O(n) 13 / 14

48 Conclusions et Applications Remarques finales et conclusion Théorie La complexité a été réduite à O(n) dans certaines cas associés à des conditions formellement définies Application Il y a de grandes chances que ces conditions soient satisfaites si les deux partitions sont proches souvent le cas en clusterisation, segmentation, etc. Daniel Porumbel Distance de transfert entre partitions en O(n) 14 / 14