M2 SC - Usages du hasard l échantillonnage compressé

Transcription

1 M2 SC - Usages du hasard l échantillonnage compressé Pierre BORGNAT CNRS, Équipe Sisyphe (Signaux, Systèmes and Physique) Laboratoire de Physique de l ENS de Lyon, Université de Lyon ECOLE NORMALE SUPERIEURE DE LYON CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE

2 !"#"$%&'!%$%'()*+","$"-. Acquisition de données numériques / 0-+.1%$"-.2''Shannon Cadre Théorie classique de l échantillonnage sampling theorem : Théorème 3"4'5-+',%67&8'18.,8&5'8.-+#9 de Shannon : «:%$'$98';5*+",$ En prenant des échantillons <%$8=>'5-+')%.' assez denses (à la fréquence 78<48)$&5'<8)-.,$<+)$'$98' de Shannon-Nyquist au moins), on peut reconstruire -<"#".%&'%.%&-#'1%$%? partaitement le signal (ou l image)» $"68,7%)8

3 L échantillonnage de Shannon-Nysquist Soit x(t) un signal analogique à temps continu L échantillonnage régulier idéal consiste à retenir un échantillon tous les τ e pas de temps : x n := x(nτ e ), n Z Théorème de Shannon-Nysquist : si x(t) est un signal à bande limité, i.e., son spectre (par transformée de Fourier) est nul en dehors de [ B, B] et que F e = 1/τ e > 2B alors x n représente exactement x(t), au sens qu on peut reconstruire x(t): x(t) = ( ) π x n sinc (t nτ e ) τ e n Z Remarque : il est possible d obtenir un signal bien échantillonné conjointement en temps et en fréquence avec N points.

4 * +,#&-"$./(0%$1"2'3/4/2%&5'6,4'2%&%./0'2/./'/789%$%.%,# : 9#%6,450)'sample 2/./'/.';)89%$. 4/."'<=>'?,94%"4'(/#2@%2.1A' Acquisition de données numériques Schéma classique $/530" too much data! Une image classique : N = échantillons. De plus en plus (et beaucoup) de données numériques : Photos, vidéos, réseaux de capteurs, wifi,... Augmentation des résolutions, des durées,... Multiplication des modalités : sons, images, RF, IR, UV,... «Avalanche de données»!

5 !"#$%&'( )*+,-"$.%%&/&0&'( Compressibilité Modern Image Representation: des signaux, 2D images,... Wavelets (transformée en ondelettes, bases adaptées, DCT, Temps-fréquence,...) 0#$2. 3#4.0.' 5,.66&5&.7'% 8/09.*:*;< #7= 0 0.% Sparse structure: few large coeffs, many small coeffs Basis for JPEG2000 image compression standard 6$.A9.75( Wavelet approximations: smooths regions great, edges much sharper Fundamentally better than DCT for images with edges Nombre de points du signal = N K 0#$2. nombre de >#/,$*8?@< coefficients significatifs 5,.66&5&.7'% '&-.

6 Compressibilité des signaux, images,... Wavelet Approximation 0!1!2!3!4! x megapixel 1 image 2525k kpixel term approx log(erreur) B-term approx à K termes error Approximation à K termes x K, de l image initiale x : Within 2 digits (in MSE) with 2.5% of coeffs x x K x 2 Original image = f, K-term approximation = f K f f K 2.01 f 2

7 Acquisition!"#$%#&'()'Sampling de données numériques Schéma classique * +,#&-"$./(0%$1"2'3/4/2%&5'6,4'2%&%./0'2/./'/789%$%.%,# : 9#%6,450)'sample 2/./'/.';)89%$. 4/."'<=>'?,94%"4'(/#2@%2.1A : compress 2/./ $/530" compress JPEG JPEG2000.4/#$5%.B$.,4" 4"7"%C" 2"7,534"$$

8 !"#$%#&'()'Sampling!"#$%#&'()'Sampling Acquisition de données numériques * +,#&-"$./(0%$1"2'3/4/2%&5'6,4'2%&%./0'2/./'/789%$%.%,# -"$./(0%$1"2'3/4/2%&5'6,4'2%&%./0'2/./'/789%$%.%,# : 9#%6,450)'sample 2/./'/.';)89%$. Schéma classique 4/."'<=>'?,94%"4'(/#2@%2.1A %6,450)'sample : compress 2/./'/.';)89%$. 4/."'<=>'?,94%"4'(/#2@%2.1A mpress 2/./ $/530" $/530" compress.4/#$5%.b$.,4" compress.4/#$5%.b$.,4" JPEG JPEG2000 JPEG Modern Image Repr JPEG2000 4"7"%C" 2"7,534"$$ 4"7"%C" 2"7,534"$$ Sparse structure: few large coef

9 Questions sur le schéma d acquisition usuel Pourquoi se fatiguer à acquérir (à haute fréquence) N points et en jetter le plus grand nombre pour n en garder que K N? Echantillonnage = opération linéaire Compression = opération non-linéaire les regrouper en une seule? Proposition récente : l echantillonnage compressé essayer d acquérir directement des données compressées? généraliser l opération de mesure

10 Acquisition de données numériques L échantillonnage compressé (Compressed Sensing ou Compressive Sampling) renouvelle l approche de l acquisition de données numériques. Proposition récente : travaux précurseurs (et théoriques) : 2000 à 2005 ; explosion du domaine : depuis 2006 ou 2007 en TSI ou en apprentissage en 2010 : 1/3 de articles de conf. mentionnent ce sujet... Remarque : ici, formulation signaux discrets ; cf. travaux de Vetterli et al. pour questions analogues en temps continu.

11 . :&$240&*'4#$2&'*;3*#"%&*-&,&%42*7#&4'6%&#&,1'8 Modern Image R Acquisition en Compressed Sensing compressive sensing 1%4,'#(1<'1"%& %&0&()& %&0",'1%601 Nombre initial de points : N Nombre de coefficients importants : K Nombre de mesures : M K M N x α Sparse structure: few large y Basis for JPEG2000 image Wavelet approximations: sm Fundamentally better than

12 Coded Acquisition Généraliser l opération de mesure Instead of pixels, take linear measurements signal x y 1 = f, φ 1, y 2 = f, φ 2,..., y M = f, φ M base ou dictionnaire de fonctions φ i mesures linéaire : y i = x, y φ= i, Φf i = 1,..., M Equivalent to transform domainy sampling, = Φx {φ m } = basis functions Example: Exemple big pixels : moyenne sur un gros pixel y m =,

13 Coded Acquisition Généraliser l opération de mesure Instead of pixels, take linear measurements signalyx 1 = f, φ 1, y 2 = f, φ 2,..., y M = f, φ M base ou dictionnaire de fonctions φ i y = Φf mesures linéaire : y i = x, φ i, i = 1,..., M Equivalent to transform domain sampling, y = Φx {φ m } = basis functions Example: line integrals (tomography) Exemple : intégrale sur une ligne (tomographie) y m =,

14 Coded Acquisition Généraliser l opération de mesure Instead of pixels, take linear measurements signalyx 1 = f, φ 1, y 2 = f, φ 2,..., y M = f, φ M base ou dictionnaire de fonctions φ y = Φf i mesures linéaire : y i = x, φ i, i = 1,..., M Equivalent to transform domain sampling, y = Φx {φ m } = basis functions Example: sinusoids (MRI) Exemple : acquisition dans l espace de Fourier (sinusoïde) y m =,

15 Généraliser Sampling Domain l opération de mesure y k =,? Quel choix de Φ pour minimiser le nombre de mesures M? Modern Image Representation: 2D Wavelets La position des K coefficients dépend du signal! Which φ m should we use to minimize the number of samples? Say we use a sparsity basis for the φ m : M measurements = M-term approximation So, should we measure wavelets? Sparse structure: few large coeffs, many small coeffs

16 Principe d acquisition incohérente Idée : chaque mesure doit combiner plusieurs points, sans cohérence entre eux.56789:, En statistique : group testing [Robert Dorfman, 1943] Autre problème jeu : identifer le seau avec les fausses pièces d or!"#$%&'()*+,-.&+/)&0123)+&4,+/&-#3)&2",*56&&.56789:,!"#$%&'()*+,-.&+/)&0123)+&4,+/&-#3)&2",*56&& ;<=>"#:%& Approche à la Shannon : peser 1 pièce par seau N 7),8/&#&2",*& mesures Compression = ;":<9)55,"*& 1 résultat -9":&)#2/&0123)+& *1:0)95&.5?9*8##8),086#"6@%& ;<=>"#:%& 7),8/&#&&"68%*&2":0,*#+,"*& 7),8/&#&2",*& "-&2",*5&-9":&%&&&0123)+5& -9":&)#2/&0123)+& *1:0)95& =123)+&>&?&*1:0)9& Echantillonnage compressé : peser des combinaisons (linéaires) de pièces de tous les seaux peu de mesures =123)+&>& ;":<9)55,"*&?&*1:0)9& =123)+&>&?&*1:0)9&

17 Principe d acquisition incohérente En signal & images : principe d incertitude généralisée Rappel : incertitude à la Gabor-Heisenberg t f 4π Pour des séquences de N points [Donoho, Starck 1989] : on note N t le nombre de points non nuls en temps, N f en fréquence N t + N f 2 N Csq : si x concentré en temps, il est étendu en fréquence Pour d autres bases orthonormale ϕ i et ψ j : cohérence µ ϕ,ψ = max i,j ϕ i, ψ j et on a N ϕ + N ψ 2/µ ϕ,ψ

18 Principe d acquisition incohérente Utilisation : un signal parcimonieux (avec K coefficients non nuls, K petit) dans un domaine est forcément étalé dans un domaine peu cohérent avec le domaine de parcimonie voir [Donoho, 1999], [Candès, Romberg, 2004] on peut le retrouver avec peu de mesures ds ce 2e domaine Signal original K Parcimonieux Signal dans Fourier Espace / Temps Fréquence En poussant au bout de cette logique : un domaine de représentation incohérent avec tous les autres est de mesurer en combinant au hasard les échantillons. idée de base de l échantillonnage compressé

19 "&9;'#%$ Comment peut marcher le Compressed Sensing? Hypothèse x signal K -sparse (parcimonieux)! "#$%&'((((((#)((((*sparse (ou dans une base ou un#%(+&)#),-#./#0%&12 dictionnaire Ψ, (&))89:();&1):(#%();&.:(-09&#% signal x = Ψα et α parcimonieux) Exemple minimal : signal 1D parcimonieux à K éléments,! Samples (Ψ = Id et x = α). 9:&)81:9:%/) );&1): )#$%&' %0%<:10 :%/1#:)

20 Compressive!"#$%&'( ) *+,'-."/"-&0-0$"10,234#$1,00&5%,6-3"'-.&1,3/%7- "389&1,-"-condensed representation :&/+- '42%&//%,-&';41#"/&4'-%400-/+149(+- %&',"1-dimensionality reduction Objectif : mesure condensée du signal, avec seulement M mesures linéaires Comment peut marcher le Compressed Sensing? #,"091,#,'/0 0$"10, 0&('"% '4'<,14,'/1&,0

21 Comment peut marcher le Compressed Sensing? Projection Φ ne peut pas être de rang plein : M < N perte d information en général (infinité de solutions à y = Φx) '$()$*"+,-!"#$%&'$()$*"+,- Cependant : on se limite à des vecteurs parcimonieux. /+"012)3"'$ '")$4566$+&',7 '1+&6 2"65:'9 7 &'8$9"$ 6"919$3'4"+:&)3"'$3'$;1'1+&6 2"65:'9

22 Comment peut marcher le Compressed Sensing?!"#$%&'$()$*"+,- Projection Φ doit être choisie telle que les sous-matrices l: /0123'$$$$$$1"$)4&)$2)1$ 9";68'1 M K sont de rang plein. K 1678&)+2901 En fait : les&+0$:6;;$+&', sous-matrices M 2K de rang plein. la différence de 2 vecteurs parcimonieux est 2::0+0'90$$$$$$$$$$$$$$$$$$70)#00'$)#"$K>1?&+10$@09)"+1$ 2K -parcimonieuse ; $AK 1?&+10$2'$30'0+&; cela préserve l information des vecteurs K -parcimonieux ; c est la Restricted Isometry Property (RIP) d ordre 2K @0$2':"+8&)2"'$2'$K>1?&+10$123'&;1 Question : design? combinatoire, NP-complet,... estricted Isometry Property BC(DE$":$"+=0+$AK

23 2" 4&,'1%&#&2-'******5* Comment peut marcher lerandom Compressed linear Sensing combi? "6*-7&*&2-%(&'*"6 Projection Φ doit prendre de l information un peu partout et ce, à chaque ligne, sans trop de spécificité. 89:*;"&'*2"-*;('-"%-*'-%1/-1%&*"6*'$,%'&*'(<2 > 2"*(26"%#,-("2*="'' Signal original K Parcimonieux Φ matrice aléatoire!? #&,'1%&#&2-' Espace / Temps '$ '(

24 Comment peut marcher le Compressed Sensing?!"#$%&''()&*+,-,*./01('(-("2 Résultat des années 80 (Kashin, Gluskin) : Si on tire Φ au hasard : i.i.d. Gaussien, 3 4&,'1%&#&2-'******5* random linear combinations i.i.d. Bernoulli (±1),... "6*-7&*&2-%(&'*"6 alors Φ a la RIP(2K) avec grande probabilité sous 3 89:*;"&'*2"-*;('-"%-*'-%1/-1%&*"6*'$,%'&*'(<2,='* condition que > 2"*(26"%#,-("2*="'' M = O(K log(n/k )) N #&,'1%&#&2-' '$,%'& '(<2,= 2"2?&%" &2-%(&'

25 Illustration du principe de Compressed Sensing Signal de N = 512 points, parcimonieux avec K = 10 pics. Matrice aléatoire N par M = 128 mesures. Matrice de mesure aleatoire (gaussienne) Signal original K Parcimonieux Espace / Temps

26 Illustration du principe de Compressed Sensing Signal de N = 512 points, parcimonieux avec K = 10 pics. Matrice aléatoire N par M = 128 mesures Signal original K Parcimonieux Signal mesure de DIMENSION reduite Espace / Temps Axe variable mesuree Question : retrouver x en pratique? (P) Etant donné y = Φx (et Φ), trouver x?

27 Reconstruction en Compressed Sensing Φ n est pas de rang plein (seules ses sous-matrices...) Inversion naïve par moindres carrés échoue : ( ) (l 2 ) ˆx = arg min x 2 ou arg min y Φx 2 x:y=φx x 2 + λ x 2 2 Reconstruction en Optimisation l Espace / Temps Exploiter la parcimonie (supposée) du signal et sa géométrie changer de norme de mesure!

28 Reconstruction en Compressed Sensing Parcimonie = chercher les solutions avec le plus petit nombre de coefficients non nuls. x 0 = Card {i : x i 0} ; x 1 = i x i Inversion au min de l 0 est exacte, mais combinatoire (l 0 ) ˆx = arg min x:y=φx x 0 Inversion au min de l 1 est exacte si x est parcimonieux (i.e., x 0 K ) (l 1 ) ˆx = arg min x:y=φx x 1 [Candès, Romberg, Tao (2004) ; Donoho ( )] (aussi : l 1 rend les solutions parcimonieuses [Fuchs 97])

29 Reconstruction en Compressed Sensing (l 1 ) ˆx = arg min x 1 x:y=φx Ce problème se résout bien par Programmation linéaire. Signal mesure de DIMENSION reduite Reconstruction en Optimisation l1 avec égalité Axe variable mesuree Espace / Temps

30 Reconstruction en Compressed Sensing (l 1 ), aussi appelé (BP) pour Basis Pursuit (Donoho 2000): ˆx = arg min x:y=φx x 1 (l 1 ) peut se réécrire en Programmation linéaire : ˆx = arg min (u,v): u + v { u, v 0 (Φu Φv) = y cf. un cours d optimisation...

31 Pourquoi reconstruction marche en l 1? Théorèmes... cf. [Candès, Romberg, Tao; Donoho; Baraniuk, Wakin;...] %&'()*+$!&,-$!"#$L 1!%&'( Regard géométrique )*+*),)$L 1 (%-,.*%+ /$L 0 (01&(2(.$(%-,.*%+$*3 rse random orientation dimension N-M

32 Lien avec les problèmes inverses Problème inverse retrouver l information (ou les sources) à partir des mesures

33 Lien avec les problèmes inverses Tomographie à rayons X (imagerie médicale)

34 Lien avec les problèmes inverses Reconstruction 2D à partir de projections

35 Lien avec les problèmes inverses Autre de problème inverse : déconvolution

36 Approche générale des problèmes inverses Modèle (direct) de mesure y à partir de la source x : y = Φ{x} + bruit Φ = opérateur de convolution, de flou, de tomographie, etc. En géneral, problème mal posé (plus de sources que de mesures) ou au moins mal conditionné (bruit à la mesure est amplifié en un bruit très fort sur l estimation de la source). Stratégie usuelle : combiner une attache aux données avec une régularisation, par exemple : ˆx = arg min x y Φ{x} λ x 2 2 (moindre carré + régularisation de Tikhonov)

37 Lien avec les problèmes inverses Exemple : sur-résolution Image de Saturne par le Hubble Space Telescope (image Eric Thiébaut, CRAL)

38 Lien avec les problèmes inverses Exemples : déconvolution aveugle Image de microscopie confocale (algo. Eric Thiébaut, CRAL) Données du Centre commun de Quantimétrie (Univ. Lyon 1)

39 Lien avec les problèmes inverses Problème initial du compressed sensing ˆx = arg min x:y=φx x 0 Problème relâché : l 1 est la relaxation convexe de l 0 ˆx = arg min x:y=φx x 1 Problème inverse un peu plus général, avec attache aux données moins contraignante ˆx = arg min x:y=φx x 1 + λ y Φx 2 2 Plus généralement : critère variationnel selon problème direct ou approche bayésienne

40 Traiter le bruit en Compressed Sensing Résistance au bruit : (BPDN) pour Basis Pursuit Denoising (Donoho 1998) : 1 (BPDN) arg min x 2 y Φx 2 + λ x 1 problème dual de celui à Contraintes Quadratiques : (QC) arg min x 1 x: y Φx 2 <ɛ Signal mesure de DIMENSION reduite Reconstruction en Optimisation l1 avec QC Axe variable mesuree Espace / Temps

41 Ajouter la compressibilité en Compressed Sensing Résultats théoriques de Candès & Tao. Reconstruction robuste : pour tout x R n, soit ˆx, solution de (l 1 ). Alors, on a x ˆx 1 C x x K 1 et x ˆx 2 C x x K 1 K 1/2 Reconstruction stable : mesure de y = Φx + e où le bruit est t.q. e 2 < ɛ et retrouver ˆx par (QC). Alors, pour tout x R n, on a x ˆx 2 C 1 x x K 1 K 1/2 + C 2 ɛ

42 Acquisition avec de l aléatoire Universalité du CS!"#$%&'()#*+ Propriétés pour Φ : mesures globales, incohérentes On vient de voir une solution : matrices aléatoires, -("./010%('2&%0%"*'13("14%12'%.15/&1'#6"()'1 Adaptation à des signaux parcimonieux sur bases ou '7(&'%1#"1any 4('#' dictionnaires (Ψ) x = Ψα ou x i = φ i, α

43 '7(&'%1#"1any 4('#' Acquisition avec de l aléatoire Universalité du CS Le schéma devient :!"#$%&'()#*+, -("./010%('2&%0%"*'13("14%12'%.15/&1'#6"()'1 '7(&'%1#"1any 4('#' '7(&'% 3/%55#3#%"* $%3*/& "/"8%&/ %"*&#%'

44 Acquisition avec de l aléatoire Universalité du CS Propriété : Matrice aléatoire Base Matrice aléatoire stratégie universelle d encodage, Ψ précisé a posteriori Autres solutions : incohérence de Φ par rapport à Ψ tirage aléatoire de coefficients de Fourier fonctions de mesures à produit scalaire toujours non nul avec tous les signaux parcimonieux ( cf. travaux sur la cohérence entre dictionnaires, en particulier [Tropp & Gribonval]) Sorte de Principe d incertitude à vérifier entre la base de mesure et la base de parcimonie.

45 Algorithmes de reconstruction Le nombre d algorithmes disponibles augmente. Catégories d algorithmes d optimisation (convexe) pour (BP) : y = arg min x:y=φx x 1 méthodes de point intérieur (lent, très précis, analyses théoriques) méthodes de gradient (1er ordre) (rapide, mais convergence...) méthode d homotopie (rapide, exact mais pour petites tailles) Domaine actif : trouver les bonnes méthodes pour pb de grande taille, résistantes au bruit, marchant pour signaux compressibles (et non seulement parcimonieux), convergence prouvable, etc. Deux exemples : MP, IST

46 Algorithme de reconstruction : Matching Pursuit Algorithme itératif 1) Retenir les composantes actives, en cherchant les colonnes de Φ qui sont les plus corrélées avec y 2) Soustraire ces composantes de y donne un résidu y 3) Itérer avec y Les composantes actives sont orthogonales d une itération à l autre Très rapide pour pb de petite taille Pas très précis si plus grande taille (images...) ou avec bruit Amélioration : Orthogonal Matching Pursuit [Mallat & Zhang, 93; Gribonval & Tropp;...]

47 Algorithme de reconstruction : Iterated Thresholding Algorithme itératif 1) À l étape k, projeter x k pour obtenir w k = Φ T Φx k 2) Seuillage de w k donne x k+1, par exemple par Soft Thresholding Marche bien car, pour des signaux parcimonieux, w k grand sur les coefficients actifs, petit ailleurs Méthode de minimisation l 1 Très rapide, très bon pour signaux parcimonieux, ok si approximativement parcimonieux Remarque : ouvre le chemin aux algorithmes proximaux [Daubechies, DeFrise, DeMol 2004; Chambolle 2005; Combettes & Pesquet; Blumensath & Davies;...]

48 Illustration 1 - exemple simulé [Candès, Romberg, Tao, IEEE Info. Theory, 2006] Exemple en tomographie IRM : acquisition dans le domaine fréquentrie, ici d une image fantôme Image originelle (lisse par morceaux) Log de Norme des coefficients de Fourier Axe variable mesuree

49 Illustration 1 - exemple simulé Image ( parcimonieuse) en espace ; donc incohérence vis-à-vis du domaine de Fourier Masque de mesure dans plan de Fourier Log de Norme des coefficients de Fourier mesures Axe variable mesuree

50 Illustration 1 - exemple simulé Reconstruction par (BP) : ˆx = arg min x:y=(fx) Ω x 1 Image originelle (lisse par morceaux) Reconstruction en Optimisation L1 avec egalite

51 Illustration 1 - exemple simulé Reconstruction par (QC) : ˆx = arg min x: (y Fx) Ω 2 <ɛ x 1 Image originelle (lisse par morceaux) Reconstruction en Optimisation L1 avec erreur

52 Illustration 1 - exemple simulé Reconstruction en Variation Totale : (TV )ˆx = arg min x:y=(fx) Ω TV (x) x 1 Image originelle (lisse par morceaux) Reconstruction en Optimisation TV

53 Illustration 2 - caméra à 1 pixel [Duarte et Rice al., Single-Pixel Imaging via CS Compressive Camera Sampling, IEEE Signal Processing Mag., 83, 2008] single photon detector random pattern on DMD array DMD DMD image reconstruction or processing

54 Single Pixel Camera Illustration 2 - caméra à 1 pixel Object LED (light source) Photodiode circuit Lens 2 Lens 1 DMD+ALP Board

55 Illustration Single 2Pixel - caméra Camera à 1 pixel Object LED (light source) Photodiode circuit Lens 2 Lens 1 DMD+ALP Board

56 Illustration Single 2 Pixel - caméra Camera à 1 pixel Object LED (light source) Photodiode circuit Lens 2 Lens 1 DMD+ALP Board

57 Illustration First Image 2 - caméra Acquisition à 1 pixel target pixels measurements (16%) 1300 measurements (2%)

58 Second Image Acquisition Illustration 2 - caméra à 1 pixel 4096 pixels 500 random measurements

59 Illustration Single-Pixel 2 - caméra Camera à 1 pixel single photon detector random pattern on DMD array DMD DMD image reconstruction or processing

60 Remarques finales Autres exemples d applications : Echantillonnage sous-nysquist Tomographie à faible nombre de vue Holographie numérique de particules Astronomie, imagerie ultra-sonore, DNA-arrays, multi-capteurs (dont réseaux de capteurs),... Et bien d autres,... Page de ressource : Pour trouver une bibliographie riche sur le sujet : page CS de Rice University Remerciements à R. Baraniuk, dont les images ont été amplement empruntées pour ce cours