Bornes de performances

Dimension: px

Commencer à balayer dès la page:

Download "Bornes de performances"

Achille Gamache
il y a 8 ans
Total affichages :

1 Bornes de performances Philippe Ciblat École Nationale Supérieure des Télécommunications, Paris, France

2 Plan CRB classiques CRB avec nuisance Autres bornes 1. Bornes de Cramer-Rao classiques avec paramètres déterministes avec paramètres aléatoires (approche bayésienne) 2. Bornes de Cramer-Rao avec paramètres de nuisance 3. Autres bornes Barankin Ziv-Zakai Exemple-conducteur : estimation de fréquence sans séquence d apprentissage Philippe Ciblat Bornes de performances 2 / 20

(approche bayésienne) 2. Bornes de Cramer-Rao avec paramètres de nuisance 3.

3 Partie 1 : Bornes de Cramer-Rao classiques Philippe Ciblat Bornes de performances 3 / 20

4 Borne de Cramer-Rao déterministe (I) Soit θ un paramètre (réel) déterministe à estimer Soit ˆθ un estimateur sans biais de θ Soit y N le vecteur d observations de taille N Borne de Cramer-Rao [ ) ) ] T E Y (ˆθ θ (ˆθ θ F(θ) 1 = CRB(θ) Remarque : La matrice F(θ) se nomme matrice d information de Fisher (FIM) F(θ) = E Y [ ( ln py (y N θ) θ ) ( ) ] T ln py (y N θ) Un estimateur sans biais atteignant la CRB est dit efficace θ Philippe Ciblat Bornes de performances 3 / 20

CRB(θ) Remarque : La matrice F(θ) se nomme matrice d information de Fisher (FIM) F(θ) = E Y [ ( ln py (y N θ) θ ) ( )

5 Borne de Cramer-Rao déterministe (II) Si la fonction ln p Y (y N θ) admet une dérivée seconde, alors [ 2 ] ln p Y (y N θ) F(θ) = E Y ( θ) 2 Remarque : p Y (y N θ) est la vraisemblance ln p Y (y N θ) est la log-vraisemblance Philippe Ciblat Bornes de performances 4 / 20

θ) 2 Remarque : p Y (y N θ) est la vraisemblance ln p Y (y N θ) est

6 Borne de Cramer-Rao bayésienne Soit θ un paramètre (réel) aléatoire à estimer admettant une distribution a priori p θ (θ) Soit ˆθ un estimateur (réel) sans biais de θ [ ) ] T E Y,θ (ˆθ θ)(ˆθ θ F 1 = BCRB avec F = E Y,θ [ ( ln py,θ (y N, θ) θ )( ) ] T ln py,θ (y N, θ) θ Remarque : On a aussi [ 2 ] ln p Y,θ (y N, θ) F = E Y,θ ( θ) 2 Pas de liens triviaux entre BCRB et E θ [CRB(θ)] Philippe Ciblat Bornes de performances 5 / 20

E Y,θ [ ( ln py,θ (y N, θ) θ )( ) ] T ln py,θ (y N, θ) θ Remarque : On a aussi [ 2 ] ln p Y,θ (y N, θ) F =

7 Partie 2 : Bornes de Cramer-Rao avec paramètres de nuisance Philippe Ciblat Bornes de performances 6 / 20

8 Exemple : estimation autodidacte de la fréquence y(n) = a(n)e 2iπf 0n + b(n), avec y N = [y(0),, y(n 1)] T D N (f 0 ) = diag([1,, e 2iπf 0(N 1) ]) a N = [a(0),, a(n 1)] T n = 0,...,N 1 y N = D N (f 0 )a N + b N b N bruit blanc gaussien circulaire centré et de variance 2N 0 supposée connue par souci de simplicité Problème f 0 : paramètre d intérêt (supposé déterministe) a N : paramètres de nuisance A chaque hypothèse formulée sur les paramètres de nuisance correspondra UNE borne de Cramer-Rao Philippe Ciblat Bornes de performances 6 / 20

..,N 1 y N = D N (f 0 )a N + b N b N bruit blanc gaussien circulaire centré et de variance 2N 0 supposée connue par souci de simplicité

9 CRB non-conditionnelle (I) a(n) est vu comme une vraie nuisance stochastique Vraisemblance non-conditionnée ou vraie vraisemblance p u (y N f) = E a [p(y N f, a N )] = p(y N f, a N )p(a N )da N Définition UCRB(f) = 1 [ E y f ln p u(y N f) 2] = 1 [ E y f ln E a[p(y N f, a N )] 2] Philippe Ciblat Bornes de performances 7 / 20

a N )] = p(y N f, a N )p(a N )da N Définition UCRB(f) = 1 [ E y f ln p u(y N f)

10 CRB non-conditionnelle (II) Dénomination : UCRB : unconditionnal CRB TCRB : true CRB SCRB : stochastic CRB Inconvénient : Cette borne est souvent incalculable analytiquement car p u (y N f) e y N D N (f)a N 2 2N 0 p(a N )da N est difficile à exprimer simplement Approximation à bas RSB (e x = 1 + x + x 2 /2 + o(x 2 )) Philippe Ciblat Bornes de performances 8 / 20

u (y N f) e y N D N (f)a N 2 2N 0 p(a N )da N est difficile à exprimer simplement

11 CRB conditionnelle a(n) est vu comme un paramètre d intérêt déterministe Vraisemblance conditionnelle ou vraisemblance déterministe p(y N f, a N ) p c (y N f) = p(y N f, â f ) avec = 0 a N âf Définition 1 CCRB(f) = [ E y,a f ln p c(y N f) 2] Dénomination : CCRB : conditionnal CRB DCRB : deterministic CRB Remarque : La CCRB est peu utilisée alors que le CML l est beaucoup Philippe Ciblat Bornes de performances 9 / 20

CCRB(f) = [ E y,a f ln p c(y N f) 2] Dénomination : CCRB : conditionnal CRB DCRB : deterministic CRB

12 CRB modifiée a(n) est vu comme un paramètre connu Définition 1 MCRB(f) = [ E y,a f ln p(y N f, a N ) 2] Remarque Expressions analytiques calculables MCRB souvent utilisée pas toujours précise Philippe Ciblat Bornes de performances 10 / 20

Remarque Expressions analytiques calculables MCRB souvent

13 CRB gaussienne a(n) est vu comme un processus gaussien Vraisemblance gaussienne p g (y N f) = E a [p(y N f, a N )] où a N est un vecteur gaussien Définition GCRB(f) = 1 [ E y f ln p g(y N f) 2] Expressions analytiques calculables Approche a priori pas valide en coms. nums C est une borne pour tous les estimateurs sans biais basés sur la matrice de covariance des observations Philippe Ciblat Bornes de performances 11 / 20

analytiques calculables Approche a priori pas valide en coms.

14 Liens entre xcrb Toutes bornes (exceptée la GCRB) sont des bornes de l EQM! Résultat UCRB MCRB ( ) et CCRB MCRB Deux cas particuliers : UCRB = MCRB (si fort RSB et si les valeurs de paramètres de nuisance appartiennent à un ensemble discret) UCRB = GCRB (si les paramètres de nuisance sont vraiment gaussiens) MCRB souvent trop optimiste GCRB incapable de prendre en compte les HOS Philippe Ciblat Bornes de performances 12 / 20

paramètres de nuisance appartiennent à un ensemble discret) UCRB = GCRB (si les paramètres de nuisance

15 Preuve de ( ) [ ( ) ] 2 ln p(y f) E y f = = ( ) 2 p(y f) 1 f p(y f) dy ( ) 2 ln p(y f, a) 1 p(y, a f)da f p(y f) dy ( ( ) 2 ln p(y f, a) p(y, a f)da) f ( ) 1 p(y, a f)da p(y f) dy ( ) 2 ln p(y f, a) p(y, a f)dyda f E y,a [ ( ln p(y f, a) f ) 2 ] Philippe Ciblat Bornes de performances 13 / 20

16 Exemple : estimation autodidacte de la fréquence (I) a(n) blanc, centré, à valeurs discrètes et non-circulaire à l ordre deux Résultat MCRB = UCRB fort RSB = 3σ2 2π 2 N 3 et GCRB = 3 [ (1 u 2 ) + 2σ 2 + σ 4] 4π 2 u 2 N 3 3σ2 3σ 4 2π 2 N 3 et UCRB faible RSB = 4π 2 u 2 N 3 avec variance E[ a(n) 2 ] = 1 et pseudo-variance E[a(n) 2 ] = u Remarque : MCRB utile à fort RSB mais pas à faible RSB GCRB utile à faible RSB (si non-circularité au second ordre) GCRB utile à fort et faible RSB ssi a(n) MDA (i.e., u = 1) GCRB inutile pour les MDP et MAQ Philippe Ciblat Bornes de performances 14 / 20

2 ] = 1 et pseudo-variance E[a(n) 2 ] = u Remarque : MCRB utile à fort RSB mais pas à faible RSB GCRB utile à faible RSB (si non-circularité au

17 Exemple : estimation autodidacte de la fréquence (II) MSE versus SNR MSE versus rho GCRB GCRB MCRB MCRB 10 2 MSE with Gaussian process MSE with Gaussian process MSE with binary process MSE MSE SNR (N=100) EQM en fct. du RSB rho (N=100 ; SNR=10dB) EQM en fct. de u Philippe Ciblat Bornes de performances 15 / 20

MSE 10 4 10 5 10 7 10 6 10 8 10 9 10 7 10 10 10 5 0 5 10 15 20 25 30 SNR (N=100) EQM en fct. du RSB 10 8 0 0.1 0.

18 Partie 3 : Autres bornes Philippe Ciblat Bornes de performances 16 / 20

19 Autres bornes Remarque xcrb incapable de prédire et d analyser l effet de décrochement Solutions Introduire des bornes plus précises Approche déterministe Borne de Barankin Approche aléatoire Borne de Ziv-Zakai Présentation pour un scalaire réel et sans paramètres de nuisance Philippe Ciblat Bornes de performances 16 / 20

Borne de Barankin Approche aléatoire Borne de Ziv-Zakai Présentation pour un

20 Borne de Barankin On considère des points-tests {θ (1),...,θ (p) } On forme B p = (B k,l ) 1 k,l p de la manière suivante [ p(y θ (k) )p(y θ (l) ] ) B k,l = E y p(y θ) 2 Définition BB p (θ) = sup E p E T p (B p 1 p 1 T p ) 1 E p } {{ } S p(e p) avec E p = [θ (1) θ,..., θ (p) θ] T et 1 p = ones(p, 1) EQM de tout estimateur sans biais est plus grand que BB p Quand p, BB devient la plus fine des bornes Philippe Ciblat Bornes de performances 17 / 20

2 Définition BB p (θ) = sup E p E T p (B p 1 p 1 T p ) 1 E p } {{ } S p(e p) avec E p = [θ (1) θ,.

21 Borne de Ziv-Zakai Définition ZZB = [ ε ] min(p(θ), p(θ + ε))p e (θ, θ + ε)dθ dε où p(.) densité a priori de θ P e (θ, θ + ε) est la probabilité d erreur du détecteur optimal pour le problème suivant { H0 : y(n) = f n (θ) H 1 : y(n) = f n (θ + ε) Philippe Ciblat Bornes de performances 18 / 20

22 Simulations a(n) blanc centré gaussien à valeurs complexes de variance 1 et de pseudo-variance E[a(n) 2 ] = u MSE versus SNR Cramer Rao Bound Barankin bound Ziv Zakai Bound Empirical MSE for NLS MSE versus rho Cramer Rao Bound Barankin bound Ziv Zakai Bound Empirical MSE for NLS MSE 10 4 MSE SNR (N=64 ; rho= 1) EQM en fct. du RSB rho (N=64 ; SNR=10dB) EQM en fct. de u Ecart important entre BB et l estimateur de l élévation au carré Petit écart entre ZZB et l estimateur de l élévation au carré Philippe Ciblat Bornes de performances 19 / 20

23 Bibliographie H.L. Van Trees, "Detection, Estimation, and Modulation Theory", Partie 1, J. Ziv, "Some lower bounds on Signal Processing, IEEE Trans. on Information Theory, Mai B. Porat, "Digital Processing of Random Signals : Theory and Methods", M. Moeneclaey, "On the True and the Modified CRB for the estimation of a scalar paramter in the presence of nuisance parameter", IEEE Trans. on Communications, Nov G. Vazquez, "Non-Data-Aided Digital Synchronization" dans le livre "Signal Processing Advances in Communications" dirigé par G. Giannakis et al., P. Forster et P. Larzabal, "On lower bounds for deterministic paramter estimation", IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Mai P. Ciblat et al., "Harmonic retrieval in the presence of non-circular Gaussian multiplicative noise : Performance bounds", EURASIP Signal Processing, Avril P. Ciblat et M. Ghogho, "Ziv-Zakai bound for harmonic retrieval in multiplicative and additive Gaussian noise", IEEE Workshop on Statistical Signal Processing (SSP), Juillet A. Renaux, "Contribution à l analyse des performances d estimation en traitement statistique du signal ", Thèse ENS Cachan, Juillet Philippe Ciblat Bornes de performances 20 / 20

Documents pareils

Soutenance de stage Laboratoire des Signaux et Systèmes

Soutenance de stage Laboratoire des Signaux et Systèmes Bornes inférieures bayésiennes de l'erreur quadratique moyenne. Application à la localisation de points de rupture. M2R ATSI Université Paris-Sud