Grphes en tritement d imges et en reconnissnce des formes Florence Tupin Déprtement TSI
2
Tble des mtières 1 Grphes en tritement d imges et en reconnissnce des formes 7 1.1 Introduction...................................... 7 1.1.1 Exemples de grphes en tritement d imges................ 7 1.2 Approches mono-grphes............................... 8 1.2.1 Méthodes de segmenttion.......................... 8 1.2.2 Grphes et chmps de Mrkov........................ 13 1.2.3 Grphes et reconnissnce des formes.................... 14 1.3 Appriement de grphes............................... 15 1.3.1 Isomorphismes de sous-grphes....................... 16 1.3.2 Isomorphismes de sous-grphes vec tolérnce d erreurs.......... 17 1.3.3 Appriement pr lgorithmes pproximtifs................ 2 1.3.4 Cs des informtions topogrphiques.................... 21 1.4 Conclusion....................................... 23 3
4 TABLE DES MATIÈRES
Tble des mtières 5
Chpitre 1 Grphes en tritement d imges et en reconnissnce des formes 1.1 Introduction L description du contenu d une imge se fit le plus souvent pr une représenttion topologique dns lquelle les reltions contextuelles tiennent une grnde importnce. Un outil de représenttion nturel d une scène est donc un grphe dont les nœuds représentent les objets présents et les rcs les reltions que l on souhite mettre en évidence. Un des intérêts principux d une telle représenttion est s compcité et pr voie de conséquence les gins de plce et de temps de clcul qui lui seront ssociés. Les trvux sur l utilistion des grphes en tritement d imges et en reconnissnce des formes remontent u début des nnées 7 pour l interpréttion utomtique de dessins polygonux [25] et se poursuivent ujourd hui [1]. Ce chpitre se scince en deux grndes prties. L première est dédiée ux pproches monogrphe dns lesquelles l scène est représentée sous forme d un grphe qui est ensuite trité pour extrire l informtion cherchée (segmenttion, contours, objets spécifiques,...). l seconde prtie triter de l mise en correspondnce entre deux grphes, l un extrit générlement des données et l utre étnt un modèle de l objet ou de l scène étudiée. 1.1.1 Exemples de grphes en tritement d imges Dns toute l suite, nous noterons un grphe G pr le couple (X, E), où X est l ensemble des sommets et E l ensemble des rcs. L ordre n du grphe est le nombre de nœuds et s tille m le nombre d rcs. On trouver dns [7] les définitions et les lgorithmes clssiques en théorie des grphes. On pourr églement se reporter u livre de Gondrn et Minoux[15]. Les grphes seront générlement ttribués ussi bien u niveu des nœuds que des rcs. On définit un grphe reltionnel ttribué pr G = (X, E, µ, ν), vec : µ : X L X fonction d ttribution des ttributs ux sommets (interpréteur de sommets) 7
8CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM ν : E L E fonction d ttribution des ttributs ux rcs (interpréteur d rcs) Le grphe le plus courmment utilisé est le grphe des pixels, où chque pixel représente un nœud du grphe et chque rc est défini pr l 4- ou l 8-connexité. Une représenttion plus compcte de l imge est donnée pr exemple pr le grphe d djcence (GRA) construit à prtir d une sur-segmenttion. Dns ce cs, on ssocie souvent ux nœuds représentnt les régions des ttributs comme le niveu de gris moyen, l surfce, des indices texturux, etc. Qunt ux rcs entre deux régions djcentes, on leur ssocie l longueur du contour ou une mesure de contrste. Des grphes églement courmment utilisés sont les grphes de Voronoï construits à prtir d un nuge de points ou, de fçon dule, l tringultion de Deluny [2]. Il est importnt de noter que de nombreux grphes en tritement d imges sont des grphes plnires (i.e pour lesquels il existe une représenttion grphique dns lquelle les rcs ne se coupent ps [15]). Ceci présente l intérêt de rendre certins lgorithmes de complexité polynomile plutôt qu exponentielle. Il existe d utres grphes comme les grphes létoires (typiquement utilisés dns les chmps mrkoviens), les grphes flous et les grphes d ttributs flous [26]. 1.2 Approches mono-grphes Nous vons regroupé dns cette prtie les pproches utilisnt un seul grphe. Il s git essentiellement de méthodes de segmenttion visnt à prtitionner l imge en régions homogènes et de méthodes de reconnissnce des formes visnt à extrire un sous-grphe du grphe initil. 1.2.1 Méthodes de segmenttion De nombreuses méthodes de segmenttion s ppuynt sur l théorie des grphes ont été proposées. L idée de bse est l suivnte : à prtir d un grphe construit sur les pixels de l imge (les rcs étnt définis pr l 4-connexité), on cherche à prtitionner le grphe de telle sorte que les prties obtenues correspondent à des zones homogènes de l imge (u sens de l ttribut des nœuds). Arbre couvrnt de poids miniml Une première pproche proposée pr Constntinidès [24] se fonde sur l recherche de l rbre couvrnt de poids miniml pour réliser l segmenttion. Le grphe est construit en pondérnt les rcs pr l vleur bsolue de l différence de niveux de gris, ou tout utre ttribut significtif pour l segmenttion considérée, des sommets qu ils relient (figure 1.1). Sur ce grphe, on clcule lors l rbre couvrnt de poids miniml. On supprime les rêtes les plus coûteuses du grphe pour obtenir l segmenttion. En effet, on obtient lors une forêt, dns lquelle chque rbre
1.2. APPROCHES MONO-GRAPHES 9 représente une zone homogène (puisque toutes les rêtes ont des coûts fibles, et donc lient des sommets dont les ttributs sont proches). Le critère de suppression des rêtes peut porter sur l vleur de l rête ou sur le nombre totl d rêtes à supprimer. L recherche de l rbre couvrnt de poids miniml se fit pr l lgorithme de Kruskl (complexité en O(n 2 + m log 2 (m)) ou pr l lgorithme de Prim (en O(n 2 )) [7]. Dns les deux cs l idée est de trier les rêtes du grphe pr ordre de poids croissnts et de les jouter pour constituer l rbre. C est une méthode de segmenttion bien dptée ux imges sns bruit, qui n introduit ps d informtion sur l forme des régions cherchées, et qui suppose que les régions à segmenter sont bien délimitées les unes pr rpport ux utres. Une mise en échec ser pr exemple due à l existence d une connexion entre deux régions similires mis pprtennt à des objets différents. 255 255 255 255 128 128 128 imge grphe des pixels ttribué rbre couvrnt de poids miniml suppression des rêtes les plus coûteuses Fig. 1.1 Segmenttion pr rbre couvrnt de poids miniml Coupe de cpcité minimle Dns le même ordre d idée, des méthodes de segmenttion recherchnt l coupe de cpcité minimle ont été proposées [4]. A nouveu, le principe est de rechercher un prtitionnement du grphe en sous-grphes. Une coupe prtitionne un grphe en deux prties A et B telles que A B = X et A B =, et l cpcité de l coupe est définie pr : cut(a, B) = x A,y B w(x, y) vec w(x, y) cpcité de l rc (x, y). Le grphe considéré est à nouveu le grphe des pixels en 4-connexité, mis cette fois-ci le poids des rcs est une fonction de similrité (et non l inverse comme précédemment). L coupe de poids minimle v donc déconnecter les pixels très dissemblbles (figure 1.2). L recherche de l coupe de cpcité minimle se fit pr l lgorithme de Ford et Fulkerson [7]. S complexité est en O(mnc mx ) où c mx est l cpcité mximle des rcs. Même si des vrintes plus rpides ont été proposées, les temps de clcul restent reltivement longs. Une extension nturelle qui permet d ccélérer le tritement de l imge consiste à effectuer une sur-segmenttion puis à construire le grphe d djcence des régions.
1CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM 255 255 255 128 255 255 128 imge grphe des pixels ttribué coupe de cpcité minimle prtition Fig. 1.2 Segmenttion pr coupe de cpcité minimle Le problème de l coupe de cpcité minimle est que l cpcité est toujours fonction du nombre d rcs de l coupe, et donc que pour des poids positifs, on ur toujours intérêt à prtitionner le grphe de telle sorte que le moins d rcs possible intervienne dns l coupe. Ce phénomène est illustré sur l figure 1.3, vec un grphe de 6 sommets et des rcs de poids ou b inversement proportionnels à l distnce (b < ). 1 2 b b b b 5 Cut(A,B ) 3 4 b 6 Cut(A,B) Fig. 1.3 Influence du nombre de sommets dns l coupe : Cut(A, B) = 4b, Cut(A, B ) = 3b Considérons les deux coupes suivntes : (A = {1, 2, 3, 4}), B = {5, 6}) et (A = {1, 2, 3, 4, 6}), B = {5}). On lors : cut(a, B) = 4b et cut(a, B ) = 3b et il est donc toujours moins coûteux d isoler un nœud, même si structurellement l prtition (A, B) serit préférble. Pour remédier à ce problème Shi et Mlik ont proposé une nouvelle définition du coût d une coupe [3], qui supprime l influence du nombre d rcs dns l coupe : Ncut(A, B) = cut(a, B) cut(a, B) + ssoc(a, G) ssoc(b, G) vec ssoc(a, G) = A,x G w(, x) Pour cette nouvelle définition, l contribution de B à l vleur de l coupe ser de 1 % puisque ssoc(b, G) = cut(a, B ). On obtient Ncut(A, B) = 4b + 2 et 12+4b 3 Ncut(A, B ) = 3b +1, ce qui résoud bien le problème mentionné précédemment. 12+7b On peut églement définir une mesure de l ssocition normlisée à l intérieur de chcune des prties de l prtition pr : Nssoc(A, B) = ssoc(a, A) ssoc(b, B) + ssoc(a, G) ssoc(b, G)
1.2. APPROCHES MONO-GRAPHES 11 On peut lors montrer l propriété suivnte : Ncut(A, B) = 2 Nssoc(A, B) et donc minimiser l coupe normlisée revient à mximiser l ssocition correspondnte. On retrouve une propriété similire à celle de l clssifiction pour lquelle mximiser l vrince inter-clsses revient à minimiser l vrince intr-clsses. L recherche de l coupe normlisée minimle est un problème NP-complet. Nénmoins en se plçnt dns le domine réel, une solution discrète pproximée peut être trouvée de fçon efficce. En effet, posons x = (x i ), x i = 1 si i A, x i = 1 sinon, une représenttion vectorielle de l prtition. Soit D = dig(d i ), d i = j w ij et W = (w ij ) représentnt les mtrices de pondértion (w ij étnt l cpcité d un rc), lors on peut montrer que : vec y i {1, b} (b = x i > d i y T (D W)y min x Ncut(x) = min y y T Dy x i < d i, y i = 1 2 [(1 + x i) b(1 x i )]) et y T D1 =. L solution de ce système est donnée pr le vecteur propre ssocié à l seconde plus petite vleur propre de l mtrice : D 1 2 (D W)D 1 2 L recherche des vleurs et vecteurs propres est en O(n 3 ) mis on peut l réduire à O(n) pour des mtrices très creuses, ce qui est le cs ici. Bien sûr, en prtique le vecteur propre y obtenu ne prend ps seulement les vleurs 1 et b, et il est nécessire de choisir une vleur seuil pour prtitionner le grphe. On peut prendre l vleur ou tester un ensemble de vleurs et clculer l coupe normlisée correspondnt à chque fois, puis prendre l prtition correspondnt u minimum. En fonction de l qulité de l prtition obtenue, l lgorithme est relncé sur l une ou l utre des prties seulement, jusqu à ce que l vleur de l coupe obtenue soit trop forte. Des exemples de segmenttion sont montrés sur l figure 1.4. Systèmes à bse de règles De très nciens trvux ont proposés une interpréttion utomtique des imges à prtir du grphe des régions d une sur-segmenttion [32]. L interpréttion se fit le plus souvent à prtir d un système à bse de règles sur les objets (tille, couleur, texture,...) et sur les reltions les lint (u dessus de, à l intérieur de, à côté de, etc.). Ce formlisme très générl ensuite été repris pour de nombreuses pplictions, notmment vec des générlistions utilisnt des grphes d ttributs flous [26] et sur des grphes polymorphiques [5].
12CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM Fig. 1.4 Résultts de segmenttion pr coupe normlisée (http ://www.cs.berkeley.edu/projects/vision/grouping/mnmde.html). Les poids sont définis pr w ij = exp( F(i) F(j) 2 2). Dns le premier exemple F(i) est le niveu de gris du σf 2 point et dns le second un vecteur d indices texturux.
1.2. APPROCHES MONO-GRAPHES 13 1.2.2 Grphes et chmps de Mrkov L théorie des grphes peut être reliée ux modèles mrkoviens selon deux points de vue. D une prt, toutes les pplictions mrkoviennes se font sur des grphes létoires, que ce soit celui des pixels pour des pplictions de bs-niveu (segmenttion, clssifiction, resturtion,...), ou un grphe construit sur des primitives de plus hut niveu (points crctéristiques, régions, etc. pour l reconnissnce d objets ou l interpréttion de l scène). On pourr se référer à [31], chp.6, pour des exemples d utilistion. D utre prt, l théorie des grphes donne un moyen de clculer l configurtion mximisnt l probbilité posteriori du chmp, ou de fçon équivlente minimisnt son énergie. Les premiers trvux étblissnt ce résultt sur des imges binires dtent de 1989 [16]. Le grphe utilisé est le grphe des pixels de l imge uquel on joute une source S (correspondnt u lbel ) et un puits (correspondnt u lbel 1). Les cpcités des rcs sont lors définies comme suit (fig.1.5) : les rcs terminux sont pondérés pr l ttche ux données pour le lbel ssocié à S ou P (noté V c (y i x i ) pour une observtion y i u site i et un lbel x i ); les rcs entre sites voisins sont pondérés pr V c (, 1), potentiel de l clique pour une configurtion des pixels vec des lbels différents (de vleur β ici). L solution du mximum posteriori est lors donnée pr l coupe séprnt l source du puits de cpcité minimle, en choisissnt comme étiquette d ffecttion pour un site l rc terminl (à l source ou u puits) qui est coupé. En effet, l énergie s écrit de l fçon suivnte : U(x y) = i V c (y i x i ) + β(x i x j ) 2 (i,j) pour un modèle d Ising. L cpcité d une coupe séprnt les sites en deux sous-ensembles E S (pour ceux qui restent reliés à l source) et E P (pour ceux qui restent reliés u puits), s écrit : cut(e S, E P ) = i E S V c (y i 1) + i E P V c (y i ) + (i E s,j E P ) ce qui s identifie directement à U(x y) vec l convention précédente (x i = 1 pour i E S, x i = pour i E P ). L solution trouvée correspond exctement u MAP. Les trvux de Boykov et Veksler [35] proposent une générlistion à des imges en niveux de gris, pour de l resturtion ou de l segmenttion (un formlisme est développé dns chque cs). Comme on ne peut jouter à chque fois qu une source et qu un puits u grphe des pixels, l idée est de définir des mouvements de l solution : l échnge entre deux lbels α/β (tous les pixels possédnt l un des deux lbels peuvent prendre l utre, et l expnsion d un lbel α (tous les pixels peuvent prendre ce lbel). Les cpcités du grphe sont clculées à prtir du résultt cournt. Un fible nombre d itértions permet de converger vers une solution. On peut montrer que ces lgorithmes sont plus rpides qu un recuit simulé, mis contrirement u cs binire précédent l solution trouvée n est ps excte. β
14CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM S(lbel ) Vc(yi ) coupe i β β β β Vc(yi 1) P (lbel 1) Fig. 1.5 Définition du grphe pour l recherche du MAP dns un modèle mrkovien binire 1.2.3 Grphes et reconnissnce des formes Les grphes sont très lrgement utilisés pour l reconnissnce des formes [23]. Le principe est générlement le suivnt : l objet est défini pr un ensemble de primitives qui constituent les nœuds du grphe, des reltions binires de comptibilité entre primitives constituent les rcs du grphe. Une clique du grphe représente lors un sous-ensemble de primitives comptibles 2 à 2 qui est une configurtion possible de l objet. L reconnissnce se fit lors pr l détection des cliques mximles du grphe (i.e des cliques uxquelles on ne peut plus rjouter ucun sommet). Si plusieurs cliques mximles existent, on définit une fonction de coût pour effectuer le choix. L recherche des cliques mximles d un grphe est un problème NP-complet. Elle s effectue en construisnt un rbre de décision (un nœud de l rbre correspond à une clique du grphe) qui est élgué fin de ne ps réengendrer les mêmes cliques 1. Un exemple d ppliction est l reconstruction utomtique de bâtiments 3D à prtir de données cdstrles vectorisées et d un couple stéréo [18]. A l intérieur de chque bâtiment (dont les limites sont données pr le cdstre), un ensemble d hypothèses de plns 3D est généré à prtir de l crte des huteurs de l stéréovision directe. Les plns sont ensuite filtrés vec des contrintes sur l forme cherchée et ils définissent un ensemble de fcettes. Un grphe de comptibilité est construit dns lequel un nœud correspond à une fcette et une rête indique que les 2 nœuds liés pprtiennent à une surfce dmissible 3D. Les cliques mximles donnent lors un toit possible pour le bâtiment (l recherche se fit pr une méthode hybride, non exhustive). Une fonction de mérite prennt en compte l déqution de l surfce ux huteurs 1 Soit S un nœud de l rbre de recherche T, et soit x le premier fils de S à être exploré. Si tous les sous-rbres de S {x} ont été générés, il suffit d explorer les fils de S qui ne sont ps djcents à x.
1.3. APPARIEMENT DE GRAPHES 15 mesurées et l complexité de l solution permet ensuite de choisir l solution. L figure 1.6 montre des exemples de bâtiments reconstruits. Fig. 1.6 Détection du bâti pr recherche de l clique mximle [18]. De guche à droite : imge originle et relevé cdstrl ssocié; hypothèses de plns générées; solution obtenue près heuristique; solution finle de reconstruction utomtique. Dns le même ordre d idée, on peut utiliser des grmmires de grphes fin de générer les occurences possibles d un objet ou nlyser des données [3] [12]. 1.3 Appriement de grphes De nombreux problèmes de tritement d imges peuvent se poser en termes d ppriement de deux grphes : un grphe modèle de référence représentnt l objet cherché et un grphe de données déduit de l imge à nlyser. C est pr exemple le cs en imgerie médicle où on dispose d un tls ntomique vec lequel on cherche à mettre l imge en correspondnce; ou en imgerie érienne ou stellitire vec une crte ou un système d informtion géogrphique; ou encore en reconnissnce d objets (pr exemple des crctères) où un modèle de l objet à détecter v être construit. Plusieurs degrés de difficultés peuvent être pris en compte. Dns le cs le plus simple (le plus contrint), on cherche un isomophisme entre les deux grphes, ou plus générlement un isomorphisme de sous-grphes [14] [39]. En effet, l cquisition de l imge entrîne souvent des prties cchées de l objet (voir le cours sur les grphes d spects) et donc
16CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM des prties mnquntes dns le grphe des données pr rpport u grphe modèle. Dns l rélité, le grphe des données est souvent bruité et le grphe modèle éventuellement incomplet, on cherche lors un isomorphisme de sous-grphes vec tolérnce d erreurs [29] [11] [33] [28] [38] [1]. Dns ce dernier cs, on peut utiliser des lgorithmes excts (lorsque le nombre de nœuds est petit) ou des lgorithmes pproximtifs. 1.3.1 Isomorphismes de sous-grphes Rppelons qu un isomorphisme de grphe est une fonction bijective f, f : G G telle que : x X,!x = f(x) X e = (x 1, x 2 ), e = (f(x 1 ), f(x 2 )) et plus générlement dns le cs où les grphes sont ttribués : µ(x) = µ (f(x)) e = (x 1, x 2 ), e = (f(x 1 ), f(x 2 )) / ν(e) = ν (e ) et réciproquement, où µ et ν (µ et ν ) sont les fonctions d ttribution des rcs et des nœuds de G et G. On trouve deux définitions pour l isomorphisme de sous-grphes entre deux grphes G 1 et G 2 ( G 1 > G 2 ). Dns l plus stricte, on cherche un isomorphisme entre un sous-grphe de G 1 et G 2 lors que dns l utre, on considère églement un sous-grphe de G 2. Le problème de l recherche d un isomorphisme de sous-grphes est un problème NPcomplet 2, excepté dns le cs où les grphes sont plnires où l complexité devient polynomile (cette sitution est ssez fréquente en tritement d imges). Il existe deux grnds lgorithmes de recherche. Le premier consiste à construire un grphe d ssocition G, où chque sommet correspond à l ssocition entre deux sommets de même ttribut et chque rc correspond à des ssocitions de sommets comptibles (i.e reliés dns les grphes d origine G 1 et G 2 pr des rcs de même ttribut le cs échént). Chque clique du grphe d ppriement correspond lors à un isomorphisme de sous-grphe (u sens lrge). On recherche dns G l plus grnde ou l meilleure clique mximle u sens d un critère donné (un exemple de grphe d ppriement est illustré figure 1.7). Un exemple pour de l mise en correspondnce en stéréo-vision est donné dns [17]. Un utre lgorithme est l lgorithme de Ullmn [34] qui consiste à construire un rbre de décision, chque feuille correspondnt à un ensemble d ssocitions comptibles. En cs d échec (cs d isomorphisme de sous-grphes strict ici), on remonte dns l rbre pour essyer une nouvelle ssocition. Pour ccélérer l recherche, une mtrice d ssocition permet de vérifier s il existe des ppriements possibles pour tous les sommets restnts. L complexité est dns le pire cs en O(m n n 2 ) (n ordre de G et m de G vec n < m). 2 Pour l isomorphisme de grphes, l question reste ouverte de svoir s il s git d un problème P ou NPcomplet.
1.3. APPARIEMENT DE GRAPHES 17 3 2 b 3 b 1 4 1 2 4 (1,2 ) (1,4 ) (1,1 ) (2,1 ) (4,4 ) (2,2 ) (4,2 ) (2,4 ) (4,1 ) (3,3 ) Fig. 1.7 Deux grphes et leur grphe d ssocition. Les deux plus grndes cliques mximles sont indiquées en grs (trit plein et en pointillés). 1.3.2 Isomorphismes de sous-grphes vec tolérnce d erreurs Dns le monde réel, les imges et les grphes qui en sont déduits sont bien sûr sujets à de multiples distorsions et donc bruités (u niveu des nœuds comme à celui des rcs) et incomplets. L idée est donc de définir une distnce entre grphes et de rechercher le sousgrphe du grphe des données à distnce minimle du grphe de référence G. On prle dns ce cs d isomorphisme de sous-grphes vec tolérnce (ou correction) d erreurs ou d isomorphisme inexct. Il existe des lgorithmes optimux (l lgorithme A et ses vrintes [23]) qui ssurent une solution excte u prix d une complexité exponentielle, et de nombreux lgorithmes pproximtifs (lgorithmes génétiques, recuit simulé, réseux de neurones, relxtion probbiliste,...). Ils minimisent itértivement une fonction de coût et sont mieux dptés à de grnds grphes cr plus rpides, mis leur convergence n est ps ssurée. Une distnce entre grphes souvent utilisée est l distnce d édition. Elle consiste à définir des opértions d édition et leur coût (substitution de l ttribut d un sommet, de l ttribut d un rc, suppression d un sommet, d un rc, insertion d un rc,...). Un grphe édité est un grphe qui subi une séquence d opértions d édition dont le coût est l somme des coûts élémentires. L distnce d édition est définie comme le coût miniml du grphe édité pour lequel on un isomorphisme de sous-grphe vec le grphe de référence (cet isomorphisme existe toujours pour l séquence d édition trivile qui consiste à supprimer tous les sommets de G et à les
18CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM remplcer pr des sommets de G). Le principe de l lgorithme A est l construction d un rbre de recherche pr ppriement successif des sommets vec évlution de l fonction de coût à chque étt (seuls les étts de coûts inférieurs sont ensuite propgés). Une méliortion possible est d estimer une borne inférieure des coûts futurs pour ne ps propger inutilement des brnches (ce qui est fit en ssocint chque nœud u nœud le plus proche indépendmment des rcs). Dns le cs d une grnde bse de données de grphes modèles qu on recherche dns une imge, il peut être très intéressnt de préconditionner les grphes modèles en les décomposnt en sous-grphes communs de sorte à ne ps fire plusieurs fois un même ppriement [4]. G1 d b 1 b 2 d 3 4 c 5 e {1} {3} {2} {6} {5} {4} c d G2 d {1,2} {3,2} c e d G3 3 d c {1,2,5} {3,2,5} 1 d 2 d b d 6 5 4 c e G1 c G2 c e {1,2,5,4} Fig. 1.8 Exemple de décomposition en éléments communs de deux grphes G 1 et G 2 et des étpes de mise en correspondnce vec un grphe G 3. Une grnde prtie des opértions d ppriement n est fite qu une seule fois puisque le sous-grphe {d,, c} est commun à G 1 et G 2 (thèse de B. Messmer [22].) Cette méthode en prticulier été dptée dns les trvux de F. Fuchs [13] pour l reconstruction 3D de bâtiments. Il dispose d un ensemble de grphes 3D de référence (représentnt différentes formes de toits possibles, à 2-pns, à 4-pns, etc... et générlisés à l ide d une grmmire), qui sont stockés sous forme décomposée en dptnt l pproche de Messmer. Un grphe de données est construit mélngent des informtions polymorphes 2D et 3D (linéires, plnes, ponctuelles). Ce grphe est ensuite ssocié à tous les grphes de l bse vec correction d erreurs et l meilleure solution est grdée. L figure 1.9 montre un exemple de reconstruction obtenue.
1.3. APPARIEMENT DE GRAPHES 19 Fig. 1.9 Exemple de reconstruction 3D pr ppriement entre un ensemble de grphes modèles et un grphe de données [13].
2CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM L une des difficultés mjeure de l distnce d édition est l définition des coûts d édition élémentires. Ceux-ci sont générlement choisis empiriquement en fonction de l ppliction visée. 1.3.3 Appriement pr lgorithmes pproximtifs Dns ce cdre, l fonction de coût utilisée s écrte d une distnce d édition. Le problème se rpproche d illeurs plus d un problème d étiquetge puisque le grphe de référence représente des étiquettes possibles pour les données, entre lesquelles on veut respecter certines reltions. Dns ce cs, plusieurs nœuds du grphe de données peuvent être ssociés à un nœud du grphe modèle, et on introduit églement le nœud vide pour prendre en compte le bruit des données ou l incomplétude du modèle. Beucoup de trvux se sont ppuyés sur une pproche probbiliste, notmment ceux de l équipe de E. Hncock [36] [9], et de J. Kittler [8]. L solution cherchée mximise lors l probbilité posteriori de f conditionnellement ux grphes modèle et de données. Les difficultés résident lors dns l expression des probbilités (plusieurs formes ont été proposées fisnt des hypothèses simplifictrices d indépendnce différentes), et dns le schém d optimistion (recuit simulé, recuit simulé pr chmp moyen, méthodes de relxtion vec règles de mise à jour, etc.). Un exemple de ce type d pproche est décrit plus en détils ci-dessous. Nénmoins, il n est ps nécessire de psser pr un formlisme probbiliste. L fonction de coût peut être définie de fçon plus intuitive pr une combinision de fonctions de similrité entre les noeuds et les rcs ssociés. Les lgorithmes d optimistion peuvent être très divers, pr exemple des lgorithmes génétiques, des lgorithmes gloutons, une méthode tbou, ou des lgorithmes d estimtion de distributions (EDAs) [2]. Un exemple d pproche probbiliste [8] Dns ces trvux le problème est formlisé comme un problème d étiquetge et on cherche à ttribuer à chque nœud du grphe l meilleure étiquette u sens du MAP (locl) : mx P(θ i = ω λ x j,j N, A ij,j Ni ) ω λ Ω vec N l ensemble des nœuds du grphe de données, x j le vecteur d ttribut du nœud j, N i l ensemble des voisins de i et A ij l ttribut de l rc relint les nœuds i et j, θ i le lbel du nœud i du grphe des données, et Ω l ensemble des lbels du grphe modèle. On peut lors montrer sous certines hypothèses d indépendnce que l règle de mise à jour d un nœud s écrit : P (n+1) (θ i = ω θi ) = P (n) (θ i = ω θi )Q (n) (θ i = ω θi ) ω λ P (n) (θ i = ω λ )Q (n) (θ i = ω λ ) vec Q (n) (θ i = ω α ) = Π j Ni P (n) (θ j = ω β ) p(a ij θ i = ω α, θ j = ω β ) ω β Ω
1.3. APPARIEMENT DE GRAPHES 21 Q (n) (θ i = ω α ) exprime le soutien des utres objets de l scène et leurs reltions binires pour l ffecttion de l étiquette ω α u nœud i. L probbilité p(a ij θ i = ω α, θ j = ω β ) représente un coefficient de comptibilité pour les deux lbels ω α, ω β pour le vecteur d ttribut A ij de l rc (i, j). Elle est générlement choisie gussienne. Qunt à l initilistion, elle n utilise que les ttributs des nœuds : P () (θ i = ω θi ) = P(θ i = ω θi x i ) L relxtion stochstique s rrête lorsque les nœuds tteignent des probbilités proches de 1. Un exemple d pproche pr lgorithme génétique Dns ce cs, l fonction de coût peut être définie à prtir de fonctions de similrité entre les rcs et les noœuds (indépendemment d une modélistion probbiliste). On peut pr exemple combiner des ttributs de niveux de gris ou texturux sur les nœuds et des reltions géométriques sur les rcs [6]. Soit, D le grphe des données et M le modèle, c N et c E sont des fonctions de similrité entre les nœuds et les rcs : c N ( D, M ) = β g D ( D ) g M ( M ) + (1 β) w D ( D ) w M ( M ) c E (( 1 D, 2 D ), (1 M, 2 M )) = v(1 D, 2 D ) v(1 M, 2 M ) vec g() le niveu de gris ssocié u nœud, w un indice texturl, et v( i, j ) le vecteur entre i et j. L fonction de coût de l ppriement h est lors : f(h) = α c N ( D, h( D )) + 1 α N D D N D E D ( 1 D,2 D ) E D c E (( 1 D, 2 D), (h( 1 D), h( 2 D))) Le coût c N ( D, ) qui permet d ssocier un nœud du grphe de données u nœud vide doit être choisi. L optimistion peut se fire pr lgorithme génétique. Dns ce cs, une solution correspond à un chromosome, chque gène correspondnt à l ssocition entre deux nœuds. Dns ce cs comme l présence d un rc n est ps explicitement prise en compte dns l solution, l vérifiction des contrintes sur les rcs -solutions dmissibles- se fit posteriori. Un exemple de mise en correspondnce de structures du visge est présenté sur l figure 1.1. Comme ucun nœud vide n est introduit dns le modèle, une prtie des cheveux à guche dns l imge est ssociée u nœud pupille du grphe modèle. 1.3.4 Cs des informtions topogrphiques Un cs très prticulier est celui dns lequel les grphes représentent des informtions topogrphiques, c est à dire dns lesquels les loclistions et les positions reltives des nœuds sont porteuses d informtions. Dns ce contexte, l mise en correspondnce revient à rechercher une trnsformtion géométrique permettnt de psser de l un à l utre.
22CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM Fig. 1.1 Grphe modèle (en hut à guche) construit mnuellement -chque région correspond à un nœud, grphe des données construit pr une sur-segmenttion de l imge (à droite), résultt de l mise en correspondnce (en bs) [6].
1.4. CONCLUSION 23 Il peut s gir d une trnsformtion rigide plus ou moins complexe (trnsltion, trnsltion + rottion, similitudes -trnsltion + rottion + fcteur d homothétie) ou d une trnsformtion élstique vec une vribilité sur l position des nœuds du grphe. Pour les trnsformtion rigides, il existe de nombreuses méthodes de mise en correspondnce : recherche du mximum de corréltion (pour une trnsltion seulement) trnsformée de Hough (si l tille de l espce des prmètres n est ps trop grnde) méthodes pr génértion et propgtion d hypothèse [27]. Pour les méthodes élstiques, on commence en générl pr rechercher une trnsformtion rigide, puis on effectue de petits déplcements létoires des sommets en grdnt les positions qui diminuent une fonction de coût (méthode de perturbtion). Le grphe initil peut être constitué pr les nœuds d une grille fixe (ps en distnce constnt) ou u contrire pr l détection de points d intérêts prticuliers. Les ttributs ssociés ux nœuds sont souvent les coefficients obtenus loclement pr convolution vec des ondelettes de Gbor, et celui ssocié ux rcs correspond directement u vecteur géométrique relint les nœuds. Ces techniques sont très utilisées en reconnissnce de visges [37] [21] [19]. 1.4 Conclusion L représenttion pr grphe est un outil qui est utilisé de fçon très diverse en tritement des imges. Même si des pplictions de bs niveu comme l segmenttion peuvent tirer vntgeusement prti des techniques fournies pr l théorie des grphes, leur utilistion est le plus souvent dédiée à l interpréttion d imges et à l reconnissnce des formes pr ppriement d un grpge de données et d un grphe modèle.
24CHAPITRE 1. GRAPHES EN TRAITEMENT D IMAGES ET EN RECONNAISSANCE DES FORM
Bibliogrphie [1] Specil section on grph lgorithms nd computer vision. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 23(1) :149 1144, 21. [2] E. Bengoetxe. Mise en correspondnce inexcte de grphes pr lgorithmes d estimtion des distributions. PhD thesis, Ecole Ntionle Supérieure des Télécommunictions, 22. [3] H. Bunke. Attributed progrmmed grph grmmrs nd their ppliction to schemtic digrm interprettion. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 4(6) :574 582, 1982. [4] H. Bunke nd B. Messmer. Recent dvnces in grph mtching. Interntionl Journl of Pttern recognition nd Artificil Intelligence, 11(1) :169 23, 1997. [5] M. Burge, W. Burger, nd W. Myr. Recognition nd lerning with polymorphic structurl components. ICPR, A :19 23, 1997. [6] R. Cesr, E. Bengoetxe, nd I. Bloch. Structurl mtching in computer vision using probbilistic relxtion. Interntionl Conference on Pttern Recognition, 17(8) :749 764, 1995. [7] I. Chron, A. Germ, nd O. Hudry. Méthodes d optimistion combintoire. Collection Pédgogique de Télécommuniction, Msson, 1996. [8] W. J. Christms, J. Kittler, nd M. Petrou. Structurl mtching in computer vision using probbilistic relxtion. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 17(8) :749 764, 1995. [9] A. Cross nd E. Hncock. Grph mtching with dul step em lgorithm. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 2(11) :1236 1253, 1998. [1] M. A. Esher nd K. Fu. An imge understnding system using ttributed symbolic representtion nd inexct grph mtching. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 8(5) :64 618, 1986. [11] O. Fugers nd K. Price. Semntic description of eril imges using stochstic lbeling. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 3(6) :633 642, 1981. [12] K. Fu. A step towrds unifiction of syntctic nd sttistic pttern recognition. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, pges 2 25, 1983. 25
26 BIBLIOGRAPHIE [13] F. Fuchs. Contribution à l reconstruction du bâti en milieu urbin, à l ide d imges ériennes stéréoscopiques à grnde échelle. Etude d une pproche structurelle. PhD thesis, Université René Descrtes - Pris V, 21. [14] D. Ghhrmn, A. Wong, nd T. Au. Grph monomorphisms lgorithms. IEEE Trnsctions on Systems, mn, nd cybernetics, 1(4) :189 196, 198. [15] M. Gondrn nd M. Minoux. Grphes et lgorithmes. Collection de l Direction des Etudes et Recherches d Electricité de Frnce, Eyrolles, 1979. [16] D. M. Greig, B. T. Porteous, nd A. H. Seheult. Exct mximum posteriori estimtion for binry imges. J. R. Sttist. Soc. B, 51(2) :271 279, 1989. [17] R. Horud nd T. Skords. Stereo correspondnce through feture grouping nd mximl cliques. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 11(11) :1168 118, 1989. [18] H. Jibrini. Reconstruction utomtique des bâtiments en modèles polyédriques 3D à prtir de données cdstrles vectorisées 2D et d un couple d imges ériennes à hute résolution. PhD thesis, Ecole Ntionle Supérieure des Télécommunictions, 22. [19] C. Kotropoulos, A. Tefs, nd I. Pits. Frontl fce uthentiction using morphologicl elstic grph mtching. IEEE Trnsctions on Imge Processing, 9(4) :555 56, APR 2. [2] W. Kroptsch nd H. Bishof. Digitl Imge Anlysis. Springer-Verlg, 21. [21] M. Ldes, C. Vorbrüggeb bd J. Buhmnn, J. Lnge, C. Mlsburg, R. Würz, nd W. Konen. Distortion invrint object recognition in the dynmic link rchitecture. IEEE Trnsctions on Computers, 42(3) :3 31, JAN 1993. [22] B. Messmer. Efficient grph mtching lgorithms for preprocessed model grphs. PhD thesis, Universität Bern, 1996. [23] L. Miclet. Méthodes structurelles pour l reconnissnce des formes. CNET, Collection technique et scientifique des télécommunictions, 1984. [24] O. J. Morris, J. Lee, nd A. Constntinidès. Grph theory for imge nlysis : n pproch bsed on the shortest spnning tree. IEE Proceedings, 133(2) :193 229, 1986. [25] T. Pvlidis. Representtion of figures by lbeled grphs. Pttern Recognition, 4 :5 17, 1972. [26] Aymeric Perchnt. Morphisme de grphes d ttributs flous pour l reconnissnce structurelle de scènes. PhD thesis, Ecole Ntionle Supérieure des Télécommunictions, 2. [27] M. Roux. Reclge d imges multi-sources. Appliction u reclge d une imge SPOT et d une crte. PhD thesis, Ecole Ntionle Supérieure des Télécommunictions (92 E 2), September 1992. [28] A. Snfeliu nd K. Fu. A distnce mesure between ttributed reltionl grphs for pttern recognition. IEEE Trnsctions on Systems, Mn, nd Cybernetics, 13(3) :353 362, 1983.
BIBLIOGRAPHIE 27 [29] L. Shpiro nd R. Hrlick. Structurl description nd inexct mtching. IEEE trnsctions on Pttern Anlysis nd Mchine Intelligence, 3(5) :54 519, 1981. [3] J. Shi nd J. Mlik. Normlized cuts nd imge segmenttion. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 22(8) :888 95, 2. [31] sous l direction de H. Mitre. Le tritement des imges. Hermes, Collection Tritement du Signl et des Imges, 23. [32] J. M. Tenenbum. Experiments in interprettion guided segmenttion. Artificil Intelligence, 8 :241 274, 1977. [33] W. Tsi nd K. Fu. Subgrph error-correcting isomorphisms for syntctic pttern recognition. IEEE trnsctions on Systems, Mn nd Cybernetics, 13(1) :48 6, 1983. [34] J. Ullmnn. An lgorithm for subgrph isomorphism. Journl of the ssocition for computing mchinery, 23(1) :31 42, 1983. [35] O. Veksler. Efficient grph-bsed energy minimiztion methods in computer vision. PhD thesis, Cornell University, 1999. [36] R. Wilson nd A. Cross bd E. Hncock. Structurl mtching with ctive tringultion. Computer Vision nd Imge Understnding, pges 21 38, 1998. [37] L. Wiskott, J. Fellous, N. Kruger, nd C. von-der Mlsburg. Fce recognition by elstic bunch grph mtching. Intelligent biometric techniques in fingerprint nd fce recognition, 355 :357 396, 1999. [38] A. Wong nd M. You. Entropy nd distnce of rndom grphs with ppliction to structurl pttern recognition. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 7(5) :599 69, 1985. [39] E. K. Wong. Model mtching in robot vision by subgrph isomorphism. Pttern Recognition, 25(3) :287 33, 1992. [4] Z. Wu nd R. Lehy. An optiml grph theoretic pproch to dt clustering : theory nd its ppliction to imge segmenttion. IEEE Trnsctions on Pttern Anlysis nd Mchine Intelligence, 15(11) :111 1113, 1993.