IUP SI Unesté Pal Sabate Tolose PECEPTION 3D Fédéc Leasle Année 8-9
Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés technqes statége ncémentale chapte III : localsaton/econnassance otls po la localsaton applcaton à la sase d objets otls po la econnassance
Chapte I - Généaltés -
Chapte - appels - odèle mnce appomaton d modèle épas e plans pncpa confonds non éalste po des gandes ales de focales odèle sténopé appelé pn-hole ca tos les aons passent pa le cente optqe n sel aon conseé Y pojecton pespecte : f f z Z Z f
Chapte 3 - odélsaton de la caméa - Bt : elaton mathématqe ente coodonnées 3D monde / D mage odèle sténopé De tansfomatons : la pojecton pespecte elaton pont espace 3D / pont mage D la tansfomaton epèe caméa / epèe mage - nté : le pel 3
Chapte I 4 - odélsaton de la caméa - Pojecton pespecte - en coodonnées homogènes* : Tansfomaton caméa/mage - epmée en pel : Paamètes ntnsèqes - estmés pa calbage Paamètes etnsèqes - tansfomaton me/caméa -estmés pa calbage c c c Z Y f f s s s : c c c Z Y s s s f f Aec m m m c c c Z Y T Z Y
Chapte I 5 - odélsaton de la caméa - Tansfomaton me/mage - matce de pojecton pespecte paamètes à estme Pncpe d calbage lnéae z z z T T T T T 33 3 3 33 3 3 3 33 3 3 3 tlsaton d ne me pafatement modélsée appaements D/3D : ésolton pa les mondes caés : décomposton de la matce maas condtonnement d sstème non pse en compte de la dstoson m m m m m m m m m m m Z Y Z Y Z Y Z Y 33 3 3 33 3 4 3 L A A A L A t t n n n Z Y
Chapte I 6 - odélsaton de la caméa - Dstoson et calbage non lnéae odèle de dstoson adale et tangentelle ajot d n teme coectf dans la tansfomaton caméa/mage : modèle de dstoson : ode à 3 selon la focale appellaton : t t 3t 3 ecte à estme t : optmsaton non lnéae : [ ] [ ] 3 6 3 4 6 3 4 : / / - ] [ ] [ p p A estme aec p p p p t t Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ t t d d aec T z t t t γ β Δ Δ : 33 3 3 3 33 3 3 3 Q t Z Y t Z Y P t Z Y t Z Y aec n F z z n
Chapte I 7 - odélsaton de la caméa - Pncpe d calbage : optmsaton non lnéae lnéasaton ato d ne ale ntale o ésolton a sens des mondes caés : Calcl des déées analtqes o nméqe : Attenton à l estmée ntale de o!!! P P P P P P P Δ Δ Δ Δ Δ K K β β V V n T L A A A T T Δ - L A ésode: V à Δ sstème Δ K K K K K K K K K K K K L Q Q t Q Q Q Q Q Q t Q Q Q Q P P t P P P P A Q P Q P V n n z n n n n z z n n n n n n K 4 P P
Chapte - odélsaton de la caméa - se en œe d calbage : etacton pécse des ames pécson sb-pel dans les mages btes modèle photogammétqe appaements ponts mage / ponts me 987 957 9459 3 93354 6 K pocesss mlt-mages estmaton decte de 6m 4 paamètes aec m nombe de es totales m β γ t t tz K K attenton a postonnement de la me - en gos paallèle a plan mage ésd moen de e-pojecton : pel 8 t m z T
Chapte I - odélsaton de la caméa - camea calbaton toolbo fo atlab : 9
Chapte I - Stééoson - Etalonnage : étalonnage ndépendant de chacne des caméas détemnaton d postonnement elatf ente caméas cho abtae d ne e commne mse en coespondance et tanglaton aec O aec O λ λ t O O g d gd
Chapte I - Stééoson - Pncpe : analse de plses mages pses smltanément o non sos des angles dfféents Etapes : étalonnage hos-lgne d sstème appaements de pmtes mages gache/dote 3 econstcton 3D Appaements - tpes de pmtes denses o épases? égons - talle non conseée segmentaton segments econstcton de segments 3D scènes stctées smlaté de longe oentaton pels - tos les pels o pels spécfqes - nfomaton pae - occltatons mage gache mage dote
Chapte I - Stééoson - Appaements de pels : scoes paamétqes : scoes non paamétqes eemple : Censs Tansfom [ ][ ] [ ] [ ] nea en I appaé aec ] [ T T p p I I I I I I I I p p ZNCC I I p p CC I I p p SSD 3 8 9 5 7 4 CT3
Chapte I - Stééoson - Contante éppolae dote sse de l ntesecton de O O p aec le plan mage dot - applcable a ponts o segments P P P O l z p l p p p z ectfcaton des mages po stééo dense lgnes éppolae et mage confondes O 3
Chapte I - Stééoson - Contantes hestqes pafos fasses contante «ncté» contante «ode» 4
Chapte I - Stééoson - Statége en stééoson dense appaements bdectonnels contantes hestqes étde de la cobe de coélaton 5
Chapte I 6 - Stééoson - econstcton po mages ectfées - tal s dspaté calclée econstcton po mages non ectfées «ntesecton» de de dotes de e Une 3ème caméa Po qo fae? c Z b Z Z b Y Y c c c c c c 33 3 3 3 33 3 3 3 Z Y Z t Z Y t Z Y t Z Y t Z Y z z
Chapte I - Stééoson - Algothme de stééoson dense 7
Chapte I - Stééoson - Pefomances : pécson foncton de la dstance a caé : à m po ne base 4cm pécson de ~3 cm champ de pecepton lé à la egence ente caméas dépendance a condtons d éclaement temps de calcl foncton de talle mage plage de dspaté temps de calcl po stééoson dense Facte de édcton 3 4 5 6 Talle des mages 576768 66384 956 449 45 968 Pentm 5GHz 5Hz 5Hz 5Hz 4Hz 9Hz Hz aantes : appoche pamdale stééoson épase stééoson aale Eemple : ade a pang d n éhcle ote [deempg] Eemple : nagaton d n obot moble en mle etée [lamampg] [ama] 8
Chapte I - Stééoson - Eemple : stééo-coélaton po la speson d cocpt d n éhcle Images ognales Images ectfées Image de dspaté econstcton 3D 9
Chapte I - Stééoson - Eemple : stééo-segment po la econstcton de stes sem-stctés
Chapte I - Stééoson - Eemple : stééoson aale po la econstcton d objets Images ognales econstcton d cbe Images ognales econstcton d galet
Chapte I - Stééoson - Eecce : stééoson embaqée s éhcle ote Le sstème est monté à ne hate de 8cm Le sol est spposé plat Les aes optqes sont oentés es le bas d n angle ste de On donne : ésolton de 34 pels focale de mm base nte-caméas de cm caméas en confgaton éppolae étne CCD de 6448mm lste les aantages/nconénents de cette focale calcle le champ de e etcal En déde la lage de la zone aegle s le sol o tot obstacle est ndétectable monte qe 5 En déde la dspaté à la dstance mnmm de pecepton s le sol Qelle dspaté po n pont sté s le sol à 3m d éhcle? Qelle dstance a sol po ne dspaté mnmale de pels concle s son tlsaton en détecton d obstacles
Chapte I - Captes actfs - Pncpe : à la fos émette et écepte de aonnement -mese de dstance nstantanée Qelqes captes actfs : captes ADA captes ltasons captes lase : Pa lase 3D captes à tanglaton : Pa lase D 3
Chapte I - Captes actfs - éthodes de mese en téléméte lase : mese pa temps de ol - mplson de cote dée - mese de l ntealle de temps ente émsson et écepton - eemple : lase SICK τ ρ tesse de popagaton d sgnal ρ dstance à lobjet τ temps de ol ρ ΔΦ λ A mese pa compaason de phase - fascea lase modlé en ampltde - mese de la dfféence de phase - c ΔΦ λa ΔΦ 4 π 4 π f A longe donde c tesse de popagaton de londe mese pa modlaton de féqence - aaton lnéae de la féqence dans l ntealle ν±δν/ ρ f f m b f c f m b Δν féqence de modlaton sgnal de battement Nécessté d n sstème de défleon po dée le fascea! 4
Chapte I - Captes actfs - Sstèmes de défleons des télémètes lase : mo plan mo tonant - le pls féqent - mo polgonal otatf balaage azmt et mo plan balaage en ste - temps de latence de mos tonants - temps de latence mnmsés - coûte de mos plans - temps de latence mpotants - p ntéessant 5
Chapte I - Captes actfs - Pefomances de la téléméte lase : mese decte de la dstance pas de tanglaton olme de taal mpotant 5m ma émette et écepte poches - completé mécanqe sstème de défleon - fote mpécson de meses bts offsets électonqes je mécanqes - poblème des ponts de moennage - dée de balaage mpotante - sécté oclae - ésolton lée a sstème de défleon 6
Chapte I - Captes actfs - Captes à tanglaton acte : s-éclae la cble aec n fascea de lmèe et obsee aec ne caméa poston elate soce lmnese/caméa conne a n calbage tanglaton dfféente fome de lmèe stctée : à ponts plans codée o non Lmèe stctée en tanglaton acte : pojecton d n pont lmne - balaage de la scène - calbage d fascea - pécson ecellente ~mm b z f f cot anθ Z 7
Chapte I - Captes actfs - Lmèe stctée en tanglaton acte : pojecton d n plan lmne - balaage de la scène - calbage d plan - econstcton de segments pojecton de plses plans pegne - tesse d acqston - dentfe les aes dans l mage stééoson acte - s éclaage pa spot lase - occltatons - balaage de la scène 8
Chapte I - Captes actfs - Eecce : econstcton pa lmèe stctée basée s ne dode lase glle de dffacton et caméa CCD po calbe on cheche les éqatons des fascea lase dans le epèe caméa à pat d mages d ne me plane onte qe les éqatons des fascea sont donnés pa l epesson sante et popose ne pocéde de calbage a b z p z q popose ne méthode po etae les spots aec ne pécson sb-pellqe qels contantes po éalse les appaements ente fascea lase et spots mage po la econstcton 9
Chapte I - Captes actfs - Eecce : n capte mlt-sensoel po la nagaton d n obot moble en ntée embaqant ne tête stééo et n lase SICK on plége la stééo-segment Comment applqe la contante éppolae? Qelles contantes ates? Caactése le ecte decte de chaqe segment 3D econstt On se focalse pa la ste s les segments etca Calbe le sstème lase / banc stééo La segmentaton lase consste à egope les ponts sccessfs algnés Sachant qe d est la dstance othogonale d pont a segment et ε n sel monte qe : d ε n Comment mette en coespondance les nfomatons sses des de captes? 3
Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés modélsaton de fomes lbes / stctées algothmes de segmentaton 3D modélsaton ncémentale en obotqe moble chapte III : localsaton/econnassance otls po la localsaton applcaton à la sase d objets otls po la econnassance
Chapte II - Généaltés - Démache généqe :
Chapte II - Généaltés - ecalage atomatqe Bt : po de ensembles de ponts S et S en ecoement echeche de la tansfomaton 3D T mnmsant le ésd Q medane[ mn T S algothme de ecalage «Iteate Closest Pont» Débt Fae Lste_pontsEtat_ponts_3DS AppaementsCalcle_AppaementLste_ponts S Tansfo_3DésdEale_TansfAppaements Applqe_TansfoSTansfo_3D Eale_Sels_Appaementésd Tant qe ésd < sel o Nbe_Iteaton < Ite_a Fn S ]
Chapte II - Généaltés - Intégaton et é-échantllonnage Bt : dmne le nombe de ponts cho de ponts aléatoes échantllonnage andomsé consee l nfomaton tle e sppme les ponts de cobe nlle 3
Chapte II - odélsaton de fomes lbes - Absence de modèles mathématqes o ntégant n gand nombe de paamètes odèles pa facettes mallage et facettsaton - ectanglae tanglae - égle o non - héachqe o non - adapté à tot tpe de scène n cas patcle : le modèle nméqe de tean NT éléaton z s ne glle de mese - modèle dt / D 4
Chapte II - odélsaton de fomes lbes - epésentaton pa éléments olmqes «oels» o epésentaton de l espace pa olme élémentae - énméaton des cellles occpées Ve desss coté dot de la statette - tanglaton acte - espace de taal : 773 oels - aête : 5mm «octees» o epésentaton pa des cbes de talle aable Sfaces défomables : splnes cobes de Béze B-splne 5
Chapte II 6 - odélsaton de fomes stctées - odèles mathématqes smples aec pe de paamètes < De eemples po n plan : po ne sface b-qadatqe : G t t nd G G m G m t P n d n n es n es P P P P P P P n es t m m d [ ] [ ] m t a t m t Q Q Q D a n Q Q a z a a a a a a z m 6 5 4 3 z aec D es aec es
Chapte II 7 - odélsaton de fomes stctées - Pmtes géométqes smples : sphèes clndes cônes toes c z b a b a z z
Chapte II 8 - odélsaton de fomes stctées - Pmtes géométqes smples : speqadqes e qadqes modfées aec paamètes ndépendants stctaton pa le bas d abes de «Constcte Sold Geomet» - felles éléments géométqes noeds opéatons ensemblstes a ε ε ε ε ε c z b
Chapte II - Segmentaton - Pa cossance de égons Bt : etae les pmtes d n tpe donné détemnaton des sats/maches de pofonde ode dscontnté de nomale ode dscontnté de cobe ode pncpe n o nea bas : Débt Int Fae Nb_pontsNb_ponts se à jo paamètes modèle Tant qe dscontntéfalse o ésd<sel Fn pncpe n o nea ntemédae : Débt Sélecton de égons élémentaes Tpe Nb_ponts Estmaton des paamètes T des égons Constcton lste des égons connees L_ Fae Eamne ésd po fsonnée aec L_ Tant qe fsontue Fn 9
Chapte II - Segmentaton - La nomale La cobe adaptée a sfaces planes calclée apès facettsaton snon pa tangentes locales calcl à l ade des masqes de Sobel Ksch adaptée a sfaces de degé spée calcl des aons de cobe pncpa et et aec z z z z N δ δ δ δ δ δ z N N N N N L G F F E F EG GL F E LN δ δ δ δ
Chapte II - Segmentaton - La cobe cobe de Gass K et moenne H : K H
Chapte II - odélsaton ncémentale - Poblématqe : beson de complétde - fson de peceptons patelles deps dfféents ponts de e/captes modèle locale - etacton des pmtes - segmentaton - fson mlt-sensoelle éentellement modèle global - ntégaton des modèles loca - ajot/fson de pmtes localsaton - mse à jo de la poston d obot coecton de l odométe analse d modèle - adapté le modèle à la tâche modèle de nagaton de tean
Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton n «bon»ame- sble non occlté - non ambg en contact aec le sol - pécs sommet le sol - sfaces majotaes dans la scène - nomales éqalentes 4 fonctonnaltés - segmentaton 3D modélsaton econnassance/localsaton fson 3
Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton segmentaton sol/objets : etacton d sol - nomale en chaqe pont - hstogamme b-aable des nomales tablea d accmlaton - etacton des objets - dscontnté de pofonde - détecton et femete des contos - dentfcaton des objets - gossssement de égons sélecton des «as» ames modélsaton des ames - calcl d ellpsoïdes - matce d nete - hstogamme cmlé modèle locale econnassance des ames - dstance/ntesecton ente ellpsoïdes locale/globale appaements localsaton mondes caés écsfs fson - mse à jo des sommets/matces d nete des ames déjà estants - ajot des noea ames poblème des ponts de moennage lase 4
Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton 3 Image segmentée pecepton n Ames dentfés - cate globale - déplacement d obot Image segmentée pecepton n Ames dentfés - cate globale - déplacement d obot - cate globale 4 peceptons 5
Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés technqes statége ncémentale chapte III : localsaton/econnassance Localsaton econnassance Applcaton à la manplaton d objets
Chapte III - Localsaton - Bt : détemnaton des paamètes etnsèqes connassant : les paamètes ntnsèqes n ensemble de pmtes 3D modélsant l objet n ensemble d appaements ente pmtes modèle et selles βγ T w c m Classfcaton des appoches en foncton : d modèle de pojecton manplé : othogaphqe pespectf de la nate des pmtes appaés : ponts dotes cecles de la méthode de ésolton : analtqe P3P P3L Dementhon nméqe
Chapte III - Localsaton analtqe - Pespecte-3-Lgnes P3L : pncpe : F N P N [ βγ P T w ] N o o c c p p p ésolton : V N βγ N βγ 3 P T w 8 soltons théoqes 3 soltons plasbles!
Localsaton 3D - Localsaton analtqe - Pespecte-3-Lgnes : eemple aêtes non sbles Tz < ecoement solton apès fltage 3
Chapte III 4 - Localsaton nméqe - Pespecte-n-Lgnes: ésolton nméqe Pécson de la localsaton / nombe de caméas P N F ] [ β γ ϕ ϕ F F L T F F T F F A n w n n w L O L γ β γ β n N P F ε L A A A L A V V V n t t T Δ Δ ctèe à mnmse : ésolton : calcl des déées : ctèe d aêt? Condton ntale o? 7mm 6mm 47mm 3 9 7 3 caméas 93mm 8mm 5mm 3 9 caméas 99mm 3mm 47mm 8 caméa w γ β
Chapte III - Localsaton nméqe - Eemple : objet gde Eemple : objet atclé 5
Chapte III - Localsaton nméqe - Eecce : aantes de l algothme qel seat l appot en teme de pécson en étendant la localsaton à plses caméas? popose alos le noea ctèe à mnmse popose n noea ctèe po étende à des appaements de ponts dans n cade monoclae adapte la méthode de calbage de caméa po la localsaton monoclae à pat d appaements de ponts 6
Chapte III - econnassance - Bt : méthodologe po établ des appaements objet/données ps localsaton - econnassance e appaements localsaton Les étapes de la econnassance : appentssage des objets à econnaîte modèle localsaton à pat d appaements objet/données et d n pocesss décsonnel Completé po appae : s O ensemble des pmtes objet de talle n et D ensemble des pmtes mage de talle m tel qe m n Nombe d appaements possbles : m! Cm n n! m n! Poblème de nate combnatoe! Appoches po la décson : ehastes/hestqes - somophsme de gaphe - pédcton/éfcaton - echeche dans ne stcte d abe 7
Chapte III - econnassance - Isomophsme de gaphes : descpton des données et objet pa n gaphe constcton d n gaphe de comptablté - des nœds - des acs echeche d ne clqe mamale dans ce gaphe flte les nœds dans le gaphe de compatblté Eemple : modèle mage segmentée gaphe de compatblté 8 clqe mamale
Chapte III - econnassance - Pédcton/éfcaton D/3D o 3D/3D : hpothèse de localsaton éfcaton appaements et localsaton ésols smltanément Etape : la pédcton établ qelqes appaements estme la localsaton applqe la loc à l ensemble des pmtes Etape : la éfcaton fome des noea appaements fsonne noea et pécédents appaements mse à jo de la localsaton Illstaton 3D/3D : 9
Chapte III - econnassance - Pédcton/éfcaton 3D/3D : Pédcton/éfcaton D/3D : Qe chos comme sels? éfcaton locale : éfcaton globale : 3 : l de l pont mle m esp et m ecte decte esp ε ε ε l l T m m esp s 3 l l Q T m m Q Q éfcaton locale : éfcaton globale : ε ε ε
Chapte III - econnassance - echeche d ne stcte d abe : peme nea : nœds hpothèses e tansfomaton objet/données nea sants : nœd a j epésentant n appaement m / echeche d n chemn alde : m / c nl m / c ctèes pécédents et nombe d appaements le pls gand possble Statége de echeche : abandon d n chemn à l nstant coant s : S n objet pédtes sbles m o S H n H ma H n m H H nbe de pmtes nbe mn dappaements nbe ma d appaements à lnstant coant c ma aec:
Chapte III - Applcaton à la manplaton - Calbaton «bas / œl» : Bt : gde le moement de la pnce à l ade d nfos sses de la caméa détemne la poston elate d capte / ogane temnal epèes et tansfomatons : : epèe de éféence d bas atclé [L]: localsaton objet dans le epèe caméa []: matce de passage bas / oel à calbe [E]: postonnement d epèe effecte dans le epèe absol [T]:localsaton objet dans le epèe [ T e c m : epèe lé à leffecte : epèe caméa pse : epèe d modèle de lobjet obseé ]: poston pnce / m po sas objet
Chapte III - Applcaton à la manplaton - Sase de l objet pa ne appoche loo and moe : [ E] [ ] [ L] [ T ] [ E ] pse Statéges de calbaton «bas / œl» : localse la pnce à l ade de pmtes connes dans le epèe pnce me en bot de pnce effecte de localsatons s le même objet deps de postons d bas 8 nconnes [Tsa87] : [ E] [ E] [ ][ L] I [ A][ ] [ ][ ] [ L ] [ ] B L mnmse des dstances à des plans d ntepétaton nconnes : l j j E l 3 l m [ P T ] [ T T ] F T E N P N T T E l E l
Chapte III - Applcaton à la manplaton - Une altenate à l assessement en poston : l assessement sel - pas de modèle géométqe nese d obot - assessement s ne consgne mage cos P SI 4
Chapte III - Applcaton à la manplaton - Pncpe d n assessement en poston : se appoche le pls possble de la poston de pse ps effecte le dene moement elatf de l effecte en aegle ne bonne localsaton de l objet n bon calbage man/œl Ste et poston ntale Denèe poston d appoche Poston de sase Sase de l objet Etapes : acqstonsegmentaton mage pédcton de la localsaton de l objet donnée pa le modèle CAO d ste mses en coespondance clqes mamales déplacement d bas eto en 5
Etapes : Chapte III - Applcaton à la manplaton - Image I Image I segmentée Pédcton ntale econnassance localsaton Image II Image II segmentée Pédcton econnassance localsaton Image III Image III segmentée Pédcton econnassance localsaton 6
éféences bblogaphqes Vson pa Odnate Hoad et Oonga Hemès 993 odélsaton 3D atomatqe otls de géométe dfféentelle FGolette Les Pesses 999 Pecepton selle pa magee déo Dhome Hemès&Laose 3 Vson stééoscopqe et pecepton mltsensoelle NAache Inte-Edtons 989 Thee Dmensonal Compte Vson A Geometc Vewpont OFageas IT Pess 993