M1 IUP SI Université Paul Sabatier Toulouse PERCEPTION 3D. Frédéric Lerasle Année

Transcription

1 IUP SI Unesté Pal Sabate Tolose PECEPTION 3D Fédéc Leasle Année 8-9

2 Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés technqes statége ncémentale chapte III : localsaton/econnassance otls po la localsaton applcaton à la sase d objets otls po la econnassance

3 Chapte I - Généaltés -

4 Chapte - appels - odèle mnce appomaton d modèle épas e plans pncpa confonds non éalste po des gandes ales de focales odèle sténopé appelé pn-hole ca tos les aons passent pa le cente optqe n sel aon conseé Y pojecton pespecte : f f z Z Z f

5 Chapte 3 - odélsaton de la caméa - Bt : elaton mathématqe ente coodonnées 3D monde / D mage odèle sténopé De tansfomatons : la pojecton pespecte elaton pont espace 3D / pont mage D la tansfomaton epèe caméa / epèe mage - nté : le pel 3

6 Chapte I 4 - odélsaton de la caméa - Pojecton pespecte - en coodonnées homogènes* : Tansfomaton caméa/mage - epmée en pel : Paamètes ntnsèqes - estmés pa calbage Paamètes etnsèqes - tansfomaton me/caméa -estmés pa calbage c c c Z Y f f s s s : c c c Z Y s s s f f Aec m m m c c c Z Y T Z Y

7 Chapte I 5 - odélsaton de la caméa - Tansfomaton me/mage - matce de pojecton pespecte paamètes à estme Pncpe d calbage lnéae z z z T T T T T tlsaton d ne me pafatement modélsée appaements D/3D : ésolton pa les mondes caés : décomposton de la matce maas condtonnement d sstème non pse en compte de la dstoson m m m m m m m m m m m Z Y Z Y Z Y Z Y L A A A L A t t n n n Z Y

8 Chapte I 6 - odélsaton de la caméa - Dstoson et calbage non lnéae odèle de dstoson adale et tangentelle ajot d n teme coectf dans la tansfomaton caméa/mage : modèle de dstoson : ode à 3 selon la focale appellaton : t t 3t 3 ecte à estme t : optmsaton non lnéae : [ ] [ ] : / / - ] [ ] [ p p A estme aec p p p p t t Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ Δ t t d d aec T z t t t γ β Δ Δ : Q t Z Y t Z Y P t Z Y t Z Y aec n F z z n

9 Chapte I 7 - odélsaton de la caméa - Pncpe d calbage : optmsaton non lnéae lnéasaton ato d ne ale ntale o ésolton a sens des mondes caés : Calcl des déées analtqes o nméqe : Attenton à l estmée ntale de o!!! P P P P P P P Δ Δ Δ Δ Δ K K β β V V n T L A A A T T Δ - L A ésode: V à Δ sstème Δ K K K K K K K K K K K K L Q Q t Q Q Q Q Q Q t Q Q Q Q P P t P P P P A Q P Q P V n n z n n n n z z n n n n n n K 4 P P

10 Chapte - odélsaton de la caméa - se en œe d calbage : etacton pécse des ames pécson sb-pel dans les mages btes modèle photogammétqe appaements ponts mage / ponts me K pocesss mlt-mages estmaton decte de 6m 4 paamètes aec m nombe de es totales m β γ t t tz K K attenton a postonnement de la me - en gos paallèle a plan mage ésd moen de e-pojecton : pel 8 t m z T

11 Chapte I - odélsaton de la caméa - camea calbaton toolbo fo atlab : 9

12 Chapte I - Stééoson - Etalonnage : étalonnage ndépendant de chacne des caméas détemnaton d postonnement elatf ente caméas cho abtae d ne e commne mse en coespondance et tanglaton aec O aec O λ λ t O O g d gd

13 Chapte I - Stééoson - Pncpe : analse de plses mages pses smltanément o non sos des angles dfféents Etapes : étalonnage hos-lgne d sstème appaements de pmtes mages gache/dote 3 econstcton 3D Appaements - tpes de pmtes denses o épases? égons - talle non conseée segmentaton segments econstcton de segments 3D scènes stctées smlaté de longe oentaton pels - tos les pels o pels spécfqes - nfomaton pae - occltatons mage gache mage dote

14 Chapte I - Stééoson - Appaements de pels : scoes paamétqes : scoes non paamétqes eemple : Censs Tansfom [ ][ ] [ ] [ ] nea en I appaé aec ] [ T T p p I I I I I I I I p p ZNCC I I p p CC I I p p SSD CT3

15 Chapte I - Stééoson - Contante éppolae dote sse de l ntesecton de O O p aec le plan mage dot - applcable a ponts o segments P P P O l z p l p p p z ectfcaton des mages po stééo dense lgnes éppolae et mage confondes O 3

16 Chapte I - Stééoson - Contantes hestqes pafos fasses contante «ncté» contante «ode» 4

17 Chapte I - Stééoson - Statége en stééoson dense appaements bdectonnels contantes hestqes étde de la cobe de coélaton 5

18 Chapte I 6 - Stééoson - econstcton po mages ectfées - tal s dspaté calclée econstcton po mages non ectfées «ntesecton» de de dotes de e Une 3ème caméa Po qo fae? c Z b Z Z b Y Y c c c c c c Z Y Z t Z Y t Z Y t Z Y t Z Y z z

19 Chapte I - Stééoson - Algothme de stééoson dense 7

20 Chapte I - Stééoson - Pefomances : pécson foncton de la dstance a caé : à m po ne base 4cm pécson de ~3 cm champ de pecepton lé à la egence ente caméas dépendance a condtons d éclaement temps de calcl foncton de talle mage plage de dspaté temps de calcl po stééoson dense Facte de édcton Talle des mages Pentm 5GHz 5Hz 5Hz 5Hz 4Hz 9Hz Hz aantes : appoche pamdale stééoson épase stééoson aale Eemple : ade a pang d n éhcle ote [deempg] Eemple : nagaton d n obot moble en mle etée [lamampg] [ama] 8

21 Chapte I - Stééoson - Eemple : stééo-coélaton po la speson d cocpt d n éhcle Images ognales Images ectfées Image de dspaté econstcton 3D 9

22 Chapte I - Stééoson - Eemple : stééo-segment po la econstcton de stes sem-stctés

23 Chapte I - Stééoson - Eemple : stééoson aale po la econstcton d objets Images ognales econstcton d cbe Images ognales econstcton d galet

24 Chapte I - Stééoson - Eecce : stééoson embaqée s éhcle ote Le sstème est monté à ne hate de 8cm Le sol est spposé plat Les aes optqes sont oentés es le bas d n angle ste de On donne : ésolton de 34 pels focale de mm base nte-caméas de cm caméas en confgaton éppolae étne CCD de 6448mm lste les aantages/nconénents de cette focale calcle le champ de e etcal En déde la lage de la zone aegle s le sol o tot obstacle est ndétectable monte qe 5 En déde la dspaté à la dstance mnmm de pecepton s le sol Qelle dspaté po n pont sté s le sol à 3m d éhcle? Qelle dstance a sol po ne dspaté mnmale de pels concle s son tlsaton en détecton d obstacles

25 Chapte I - Captes actfs - Pncpe : à la fos émette et écepte de aonnement -mese de dstance nstantanée Qelqes captes actfs : captes ADA captes ltasons captes lase : Pa lase 3D captes à tanglaton : Pa lase D 3

26 Chapte I - Captes actfs - éthodes de mese en téléméte lase : mese pa temps de ol - mplson de cote dée - mese de l ntealle de temps ente émsson et écepton - eemple : lase SICK τ ρ tesse de popagaton d sgnal ρ dstance à lobjet τ temps de ol ρ ΔΦ λ A mese pa compaason de phase - fascea lase modlé en ampltde - mese de la dfféence de phase - c ΔΦ λa ΔΦ 4 π 4 π f A longe donde c tesse de popagaton de londe mese pa modlaton de féqence - aaton lnéae de la féqence dans l ntealle ν±δν/ ρ f f m b f c f m b Δν féqence de modlaton sgnal de battement Nécessté d n sstème de défleon po dée le fascea! 4

27 Chapte I - Captes actfs - Sstèmes de défleons des télémètes lase : mo plan mo tonant - le pls féqent - mo polgonal otatf balaage azmt et mo plan balaage en ste - temps de latence de mos tonants - temps de latence mnmsés - coûte de mos plans - temps de latence mpotants - p ntéessant 5

28 Chapte I - Captes actfs - Pefomances de la téléméte lase : mese decte de la dstance pas de tanglaton olme de taal mpotant 5m ma émette et écepte poches - completé mécanqe sstème de défleon - fote mpécson de meses bts offsets électonqes je mécanqes - poblème des ponts de moennage - dée de balaage mpotante - sécté oclae - ésolton lée a sstème de défleon 6

29 Chapte I - Captes actfs - Captes à tanglaton acte : s-éclae la cble aec n fascea de lmèe et obsee aec ne caméa poston elate soce lmnese/caméa conne a n calbage tanglaton dfféente fome de lmèe stctée : à ponts plans codée o non Lmèe stctée en tanglaton acte : pojecton d n pont lmne - balaage de la scène - calbage d fascea - pécson ecellente ~mm b z f f cot anθ Z 7

30 Chapte I - Captes actfs - Lmèe stctée en tanglaton acte : pojecton d n plan lmne - balaage de la scène - calbage d plan - econstcton de segments pojecton de plses plans pegne - tesse d acqston - dentfe les aes dans l mage stééoson acte - s éclaage pa spot lase - occltatons - balaage de la scène 8

31 Chapte I - Captes actfs - Eecce : econstcton pa lmèe stctée basée s ne dode lase glle de dffacton et caméa CCD po calbe on cheche les éqatons des fascea lase dans le epèe caméa à pat d mages d ne me plane onte qe les éqatons des fascea sont donnés pa l epesson sante et popose ne pocéde de calbage a b z p z q popose ne méthode po etae les spots aec ne pécson sb-pellqe qels contantes po éalse les appaements ente fascea lase et spots mage po la econstcton 9

32 Chapte I - Captes actfs - Eecce : n capte mlt-sensoel po la nagaton d n obot moble en ntée embaqant ne tête stééo et n lase SICK on plége la stééo-segment Comment applqe la contante éppolae? Qelles contantes ates? Caactése le ecte decte de chaqe segment 3D econstt On se focalse pa la ste s les segments etca Calbe le sstème lase / banc stééo La segmentaton lase consste à egope les ponts sccessfs algnés Sachant qe d est la dstance othogonale d pont a segment et ε n sel monte qe : d ε n Comment mette en coespondance les nfomatons sses des de captes? 3

33 Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés modélsaton de fomes lbes / stctées algothmes de segmentaton 3D modélsaton ncémentale en obotqe moble chapte III : localsaton/econnassance otls po la localsaton applcaton à la sase d objets otls po la econnassance

34 Chapte II - Généaltés - Démache généqe :

35 Chapte II - Généaltés - ecalage atomatqe Bt : po de ensembles de ponts S et S en ecoement echeche de la tansfomaton 3D T mnmsant le ésd Q medane[ mn T S algothme de ecalage «Iteate Closest Pont» Débt Fae Lste_pontsEtat_ponts_3DS AppaementsCalcle_AppaementLste_ponts S Tansfo_3DésdEale_TansfAppaements Applqe_TansfoSTansfo_3D Eale_Sels_Appaementésd Tant qe ésd < sel o Nbe_Iteaton < Ite_a Fn S ]

36 Chapte II - Généaltés - Intégaton et é-échantllonnage Bt : dmne le nombe de ponts cho de ponts aléatoes échantllonnage andomsé consee l nfomaton tle e sppme les ponts de cobe nlle 3

37 Chapte II - odélsaton de fomes lbes - Absence de modèles mathématqes o ntégant n gand nombe de paamètes odèles pa facettes mallage et facettsaton - ectanglae tanglae - égle o non - héachqe o non - adapté à tot tpe de scène n cas patcle : le modèle nméqe de tean NT éléaton z s ne glle de mese - modèle dt / D 4

38 Chapte II - odélsaton de fomes lbes - epésentaton pa éléments olmqes «oels» o epésentaton de l espace pa olme élémentae - énméaton des cellles occpées Ve desss coté dot de la statette - tanglaton acte - espace de taal : 773 oels - aête : 5mm «octees» o epésentaton pa des cbes de talle aable Sfaces défomables : splnes cobes de Béze B-splne 5

39 Chapte II 6 - odélsaton de fomes stctées - odèles mathématqes smples aec pe de paamètes < De eemples po n plan : po ne sface b-qadatqe : G t t nd G G m G m t P n d n n es n es P P P P P P P n es t m m d [ ] [ ] m t a t m t Q Q Q D a n Q Q a z a a a a a a z m z aec D es aec es

40 Chapte II 7 - odélsaton de fomes stctées - Pmtes géométqes smples : sphèes clndes cônes toes c z b a b a z z

41 Chapte II 8 - odélsaton de fomes stctées - Pmtes géométqes smples : speqadqes e qadqes modfées aec paamètes ndépendants stctaton pa le bas d abes de «Constcte Sold Geomet» - felles éléments géométqes noeds opéatons ensemblstes a ε ε ε ε ε c z b

42 Chapte II - Segmentaton - Pa cossance de égons Bt : etae les pmtes d n tpe donné détemnaton des sats/maches de pofonde ode dscontnté de nomale ode dscontnté de cobe ode pncpe n o nea bas : Débt Int Fae Nb_pontsNb_ponts se à jo paamètes modèle Tant qe dscontntéfalse o ésd<sel Fn pncpe n o nea ntemédae : Débt Sélecton de égons élémentaes Tpe Nb_ponts Estmaton des paamètes T des égons Constcton lste des égons connees L_ Fae Eamne ésd po fsonnée aec L_ Tant qe fsontue Fn 9

43 Chapte II - Segmentaton - La nomale La cobe adaptée a sfaces planes calclée apès facettsaton snon pa tangentes locales calcl à l ade des masqes de Sobel Ksch adaptée a sfaces de degé spée calcl des aons de cobe pncpa et et aec z z z z N δ δ δ δ δ δ z N N N N N L G F F E F EG GL F E LN δ δ δ δ

44 Chapte II - Segmentaton - La cobe cobe de Gass K et moenne H : K H

45 Chapte II - odélsaton ncémentale - Poblématqe : beson de complétde - fson de peceptons patelles deps dfféents ponts de e/captes modèle locale - etacton des pmtes - segmentaton - fson mlt-sensoelle éentellement modèle global - ntégaton des modèles loca - ajot/fson de pmtes localsaton - mse à jo de la poston d obot coecton de l odométe analse d modèle - adapté le modèle à la tâche modèle de nagaton de tean

46 Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton n «bon»ame- sble non occlté - non ambg en contact aec le sol - pécs sommet le sol - sfaces majotaes dans la scène - nomales éqalentes 4 fonctonnaltés - segmentaton 3D modélsaton econnassance/localsaton fson 3

47 Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton segmentaton sol/objets : etacton d sol - nomale en chaqe pont - hstogamme b-aable des nomales tablea d accmlaton - etacton des objets - dscontnté de pofonde - détecton et femete des contos - dentfcaton des objets - gossssement de égons sélecton des «as» ames modélsaton des ames - calcl d ellpsoïdes - matce d nete - hstogamme cmlé modèle locale econnassance des ames - dstance/ntesecton ente ellpsoïdes locale/globale appaements localsaton mondes caés écsfs fson - mse à jo des sommets/matces d nete des ames déjà estants - ajot des noea ames poblème des ponts de moennage lase 4

48 Chapte II - odélsaton ncémentale - Eemple : modélsaton d n enonnement d etée po la nagaton 3 Image segmentée pecepton n Ames dentfés - cate globale - déplacement d obot Image segmentée pecepton n Ames dentfés - cate globale - déplacement d obot - cate globale 4 peceptons 5

49 Sommae chapte I : acqston généaltés modélsaton de la caméa stééoson captes actfs chapte II : modélsaton généaltés technqes statége ncémentale chapte III : localsaton/econnassance Localsaton econnassance Applcaton à la manplaton d objets

50 Chapte III - Localsaton - Bt : détemnaton des paamètes etnsèqes connassant : les paamètes ntnsèqes n ensemble de pmtes 3D modélsant l objet n ensemble d appaements ente pmtes modèle et selles βγ T w c m Classfcaton des appoches en foncton : d modèle de pojecton manplé : othogaphqe pespectf de la nate des pmtes appaés : ponts dotes cecles de la méthode de ésolton : analtqe P3P P3L Dementhon nméqe

51 Chapte III - Localsaton analtqe - Pespecte-3-Lgnes P3L : pncpe : F N P N [ βγ P T w ] N o o c c p p p ésolton : V N βγ N βγ 3 P T w 8 soltons théoqes 3 soltons plasbles!

52 Localsaton 3D - Localsaton analtqe - Pespecte-3-Lgnes : eemple aêtes non sbles Tz < ecoement solton apès fltage 3

53 Chapte III 4 - Localsaton nméqe - Pespecte-n-Lgnes: ésolton nméqe Pécson de la localsaton / nombe de caméas P N F ] [ β γ ϕ ϕ F F L T F F T F F A n w n n w L O L γ β γ β n N P F ε L A A A L A V V V n t t T Δ Δ ctèe à mnmse : ésolton : calcl des déées : ctèe d aêt? Condton ntale o? 7mm 6mm 47mm caméas 93mm 8mm 5mm 3 9 caméas 99mm 3mm 47mm 8 caméa w γ β

54 Chapte III - Localsaton nméqe - Eemple : objet gde Eemple : objet atclé 5

55 Chapte III - Localsaton nméqe - Eecce : aantes de l algothme qel seat l appot en teme de pécson en étendant la localsaton à plses caméas? popose alos le noea ctèe à mnmse popose n noea ctèe po étende à des appaements de ponts dans n cade monoclae adapte la méthode de calbage de caméa po la localsaton monoclae à pat d appaements de ponts 6

56 Chapte III - econnassance - Bt : méthodologe po établ des appaements objet/données ps localsaton - econnassance e appaements localsaton Les étapes de la econnassance : appentssage des objets à econnaîte modèle localsaton à pat d appaements objet/données et d n pocesss décsonnel Completé po appae : s O ensemble des pmtes objet de talle n et D ensemble des pmtes mage de talle m tel qe m n Nombe d appaements possbles : m! Cm n n! m n! Poblème de nate combnatoe! Appoches po la décson : ehastes/hestqes - somophsme de gaphe - pédcton/éfcaton - echeche dans ne stcte d abe 7

57 Chapte III - econnassance - Isomophsme de gaphes : descpton des données et objet pa n gaphe constcton d n gaphe de comptablté - des nœds - des acs echeche d ne clqe mamale dans ce gaphe flte les nœds dans le gaphe de compatblté Eemple : modèle mage segmentée gaphe de compatblté 8 clqe mamale

58 Chapte III - econnassance - Pédcton/éfcaton D/3D o 3D/3D : hpothèse de localsaton éfcaton appaements et localsaton ésols smltanément Etape : la pédcton établ qelqes appaements estme la localsaton applqe la loc à l ensemble des pmtes Etape : la éfcaton fome des noea appaements fsonne noea et pécédents appaements mse à jo de la localsaton Illstaton 3D/3D : 9

59 Chapte III - econnassance - Pédcton/éfcaton 3D/3D : Pédcton/éfcaton D/3D : Qe chos comme sels? éfcaton locale : éfcaton globale : 3 : l de l pont mle m esp et m ecte decte esp ε ε ε l l T m m esp s 3 l l Q T m m Q Q éfcaton locale : éfcaton globale : ε ε ε

60 Chapte III - econnassance - echeche d ne stcte d abe : peme nea : nœds hpothèses e tansfomaton objet/données nea sants : nœd a j epésentant n appaement m / echeche d n chemn alde : m / c nl m / c ctèes pécédents et nombe d appaements le pls gand possble Statége de echeche : abandon d n chemn à l nstant coant s : S n objet pédtes sbles m o S H n H ma H n m H H nbe de pmtes nbe mn dappaements nbe ma d appaements à lnstant coant c ma aec:

61 Chapte III - Applcaton à la manplaton - Calbaton «bas / œl» : Bt : gde le moement de la pnce à l ade d nfos sses de la caméa détemne la poston elate d capte / ogane temnal epèes et tansfomatons : : epèe de éféence d bas atclé [L]: localsaton objet dans le epèe caméa []: matce de passage bas / oel à calbe [E]: postonnement d epèe effecte dans le epèe absol [T]:localsaton objet dans le epèe [ T e c m : epèe lé à leffecte : epèe caméa pse : epèe d modèle de lobjet obseé ]: poston pnce / m po sas objet

62 Chapte III - Applcaton à la manplaton - Sase de l objet pa ne appoche loo and moe : [ E] [ ] [ L] [ T ] [ E ] pse Statéges de calbaton «bas / œl» : localse la pnce à l ade de pmtes connes dans le epèe pnce me en bot de pnce effecte de localsatons s le même objet deps de postons d bas 8 nconnes [Tsa87] : [ E] [ E] [ ][ L] I [ A][ ] [ ][ ] [ L ] [ ] B L mnmse des dstances à des plans d ntepétaton nconnes : l j j E l 3 l m [ P T ] [ T T ] F T E N P N T T E l E l

63 Chapte III - Applcaton à la manplaton - Une altenate à l assessement en poston : l assessement sel - pas de modèle géométqe nese d obot - assessement s ne consgne mage cos P SI 4

64 Chapte III - Applcaton à la manplaton - Pncpe d n assessement en poston : se appoche le pls possble de la poston de pse ps effecte le dene moement elatf de l effecte en aegle ne bonne localsaton de l objet n bon calbage man/œl Ste et poston ntale Denèe poston d appoche Poston de sase Sase de l objet Etapes : acqstonsegmentaton mage pédcton de la localsaton de l objet donnée pa le modèle CAO d ste mses en coespondance clqes mamales déplacement d bas eto en 5

65 Etapes : Chapte III - Applcaton à la manplaton - Image I Image I segmentée Pédcton ntale econnassance localsaton Image II Image II segmentée Pédcton econnassance localsaton Image III Image III segmentée Pédcton econnassance localsaton 6

66 éféences bblogaphqes Vson pa Odnate Hoad et Oonga Hemès 993 odélsaton 3D atomatqe otls de géométe dfféentelle FGolette Les Pesses 999 Pecepton selle pa magee déo Dhome Hemès&Laose 3 Vson stééoscopqe et pecepton mltsensoelle NAache Inte-Edtons 989 Thee Dmensonal Compte Vson A Geometc Vewpont OFageas IT Pess 993