Cours de Calcul numérque MATH 03 G. Bontemp, A. da Slva Soares, M. De Wulf Département d'informatque Boulevard du Tromphe - CP22 http://www.ulb.ac.be/d
Valeurs propres en pratque. Localsaton. Méthode de la pussance. 2
Compresson d mage (PCA) Orgnal uncompressed mage. Sze=57920 Normalsed= Compressed mage. Sze=29280 Normalsed=0.854 50 00 50 200 250 300 350 400 450 50 00 50 200 250 300 350 400 450 50 00 50 200 250 300 50 00 50 200 250 300» s_pca 3
PCA: Prncpal component analyss. Image comme une matrce A (Nn) de pxels. 2. Normalsaton de la matrce A A *. 3. Calcul de la matrce de corrélaton C (nn) = (A * ) T A * 4. Calcul des valeurs et de la matrce V (nn) des vecteurs propres de C. 5. Mse en ordre décrossante des valeurs propres et des vecteurs propres correspondants. 6. Sélecton d un sous-ensemble de h<n valeurs/vecteurs propres. 7. Transformaton de la matrce A * dans une matrce ^ * * T = AV n V A ( h) ( n h) compressée de talle (Nh). 4
x 2 N=8, n=2 x Les valeurs propres et 2 mesurent la varaton des données dans les drectons représentées par les vecteurs propres x et x 2 5
Valeurs propres Un nombre (réel ou complexe) est une valeur propre d une matrce A et un vecteur non nul x est le vecteur propre correspondant ss Ax = λx Proprété. est une valeur propre de A ss elle est un zéro du polynôme caractérstque p A (λ)=det(λi-a) S A a une talle (nn), le polynôme est d ordre n et par conséquent A a n valeurs propres complexes. 6
Quotent de Raylegh S le vecteur propre x est connu, la valeur propre correspondante est donnée par x T λ= x x Ax T = x T Ax 2 x 2 7
Approxmaton des valeurs propres Nous aborderons l approxmaton des valeurs et des vecteurs propres d une matrce réelle A (nn). Le racnes du polynôme caractérstque p A (λ)=det(λi-a) sont calculables analytquement seulement pour n<5. Les méthodes numérques pour calculer le racnes de p A (λ) sont typquement mal condtonnées. Donc, l est consellé d utlser des méthodes tératves pour l estmaton des valeurs propres. Afn d accélérer la convergence de ces méthodes, l est utle avor une dée de leur localsaton. 8
Localsaton λ ρ(a) A pour toute norme matrcelle consstante. (vor TP) toutes les valeurs propres sont contenues dans un dsque de rayon A centré à l orgne du plan complexe. Théorème des dsques de Gershgorn. S A est une matrce (n n), alors n σ( A) R, R= { z : z a = n j=, j a } j ou les ensembles R sont appelés dsques (lgne) de Gershgorn. 9
Etant σ(a) = σ(a T ), on a auss n σ( A) C, C= { z : z a = n =, j a } ou les ensembles C sont appelés dsques (colonne) de Gershgorn. Il ensut j Théorème. (premer théorème de Gershgorn) n λ σ ( A), λ R n C = = 0
Théorème (second théorème de Gershgorn). Soent m n et S m n = R, S = R 2 = = m+ S S S 2 =, alors S content exactement m valeurs propres de A, chacune étant comptée avec sa multplcté algébrque, les autres valeurs propres sont dans S 2.
Exemple localsaton 0 A= 0 2 2 3 3 5 σ( A) = {9.6876, 2.6562 ± 0.6928} Nor: norme. Rouge: ds ques lgnes. Verte: ds ques colonnes 0» s_gers Im(z) 5 0-5 -0-5 -5-0 -5 0 5 0 5 2 Re(z)
Méthodes partelles Méthodes numérques calcul approché des valeurs propres extrémales utles dans beaucoup d applcatons réseau électrque, mécanque quantque, ssmologe analyse des méthodes tératves Exemple: méthode de la pussance Méthodes globales calcul approché de tout le spectre. elles sont basée sur une séres de transformatons de la matrce A. Exemple: méthode QR. Méthodes ad hoc pour matrces symétrques. 3
Valeurs et vecteurs propres Certanes méthodes de calcul des valeurs propres permettent également le calcul des vecteurs propres. méthode de la pussance D autres méthodes requèrent une étape supplémentare. méthode QR. 4
Matrce dagonalsable Sur base de la défnton de valeur propre Ax =λ x, =,..., n on obtent AX =XΛ où λ 0 λ [ ] 2 X = x, x,..., x n et Λ= 2 0 λ n S les vecteurs propres sont lnéarement ndépendants, alors X est non sngulère et X AX =Λ et A est dte dagonalsable (condton suffsante). La proprété est auss nécessare. 5
Autres proprétés S x est un vecteur propre de A, cx avec c est encore un vecteur propre. S A (nn) est réelle et symétrque, alors ses valeurs propres sont réelles et la matrce X des vecteur propres est orthogonale. S A (nn) est symétrque et défne postve alors ses valeurs propres sont postves. Les vecteurs propres correspondants à des valeurs propres dstnctes sont lnéarement ndépendants. A est dagonalsable ss ses valeurs propres sont dstnctes. S λ est une valeur propre de A, alors λ - est une valeur propre de A -. S x est un vecteur propre de A, alors l est auss un vecteur propre de de A -. 6
Méthode de la pussance Procédure tératve pour trouver la valeur propre domnante d une matrce A. Sot A (n n) une matrce dagonalsable et sot X n n la matrce de ses vecteurs propres x, =,,n. Supposons les valeurs propres ordonnées de la façon suvante λ > λ λ... 2 3 λ n où λ a multplcté algébrque égale à. Idée: convertr la relaton de base Ax=x dans une procédure tératve. 7
Méthode de la pussance: verson smplfée Sot q (0) =[,,] T la valeur approchée ntale du vecteur propre x, alors on calcule l approxmaton suvante par z = Aq ( k ) L dée de la méthode est d térer jusqu à la convergence. Etant donné qu un vecteur propre est défn à une constante multplcatve près, on peut normalser z (k) q =z / z m où z (k) m est le composant de z (k) ayant le plus grand module. Par conséquence q (k) m aura module. 8
Sot q (k-) le vecteur normalsé qu approche le vecteur propre domnant à l étape k- de la méthode. On calcule z λ ( k ) ( k ) = Aq = q et z m (k) / q m (k-) est une approxmaton ν (k) de la valeur propre. z = Aq z ν = q q = z z m ( k ) m m ( k ) approxmaton de la valeur propre domnante approxmaton du vecteur propre domnant 9
Exemple 2 7 5 7 7 (0) A= q = λ 4 4 20 T [ ] = 24 [ ] T () () () [ ] T () (0) z = Aq = 27 9 20 ν = z = 27, q = 0.70 0. 74 [ 25.8 5. ] T (2) () z = Aq = 6 ν (2) m (2) = = 25.8, q z m (2) = [ 0.60 0.63] [ 24.3 2.97 3. ] T (3) (2) z = Aq = 42 ν (3) (3) = = 24.3, q z m (3) [ ] = 0.53 0.55 20
Méthode de la pussance: verson avancée Sot A (n n) une matrce dagonalsable et sot X n la matrce de ses vecteurs propres x, =,,n. Supposons les valeurs propres ordonnées de la façon suvante λ > λ λ... où λ a multplcté algébrque égale à. Etant donné un vecteur ntal q (0) n de norme eucldenne égale à, la verson complète de la méthode de la pussance est ( k ) z = Aq q = z / z ν = 2 3 2 ( ) T q Aq λ n 2
Analyse de la méthode de la pussance On peut montrer que q ( k ) = k A q k A q Etant A dagonalsable et ses vecteurs propres x lnéarement (0) ndépendantes, on peut écrre Notons que k A q (0) = n n k αa x= = = (0) (0) q Ax= λ x = λ x k 2 = n = k α λ x = α λ x+ k A x αx n k k (0) k α ~ ( ) = + λ = k k A q α λ x x αλ q k=,2 = 2 α λ Le vecteur q (k) s algne le long de la drecton du vecteur propre x quand k k n = 2 k α λ x 22
Analyse de la méthode de la pussance Théorème. Sot A (n n) une matrce dagonalsable avec les valeurs propres ordonnées de la façon suvante λ > λ λ... En supposant α 0, on peut montrer que 2 3 λ n lm k ~ q k = x Grâce au quotent de Raylegh ( ~ ) T ( ~ q A q ) ( ) T ( ) ( ) 2 ~ q A q =ν k q 2 lm ν = λ = k 23
Convergence de la méthode de la pussance La convergence est d autant plus rapde que le quotent 2 / est pett. S 2 la méthode est très lente. Elle n est alors typquement utlsée que pour avor une estmaton ntale. S A est réelle et symétrque, la convergence de la sute ν k vers est quadratque par rapport a 2 /. La méthode ne converge pas s les deux valeurs propres domnantes et 2 sont complexes conjuguées. 24
Méthode de la pussance nverse Sot A (n n) une matrce dagonalsable et sot X n n la matrce de ses vecteurs propres x, =,,n. Sot (M µ ) - =(A-µI) -. Etant donné que X M X = X ( A µi) X =Λ µi= dag( λ µ,..., λ µ ) µ n la matrce M µ est auss dagonalsable et ses valeurs propres sont ξ =(λ -µ). De plus, M µ et A ont les mêmes vecteurs propres. Donc les valeurs propres de (M µ ) - sont ξ =(λ -µ) -. La quantté µ est appelée shft. Supposons qu l exste un enter m tel que λ < λ µ =,..., n et m m µ 25
S λ m est la valeur propre la plus proche de µ et λ m a multplcté, alors ξ m a multplcté et est la valeur propre de M µ - de plus grand module. ξ = m λ µ m Trouver la valeurs propres domnante de (M µ ) - permet le calcul de la valeur propre de A la plus proche a µ. Sur la base de la proprété sus-mentonnée, la méthode de la pussance est capable d estmer ξ m et par conséquence λ m. S µ=0, trouver la valeur propre domnante de (M 0 ) - permet le calcul de la valeur propre la plus pette de A. 26
Méthode de la pussance nverse ( A µi) z = q q = z / z σ = 2 ( k ) ( ) T q Aq approxmaton de la valeur propre λ m On dot résoudre à chaque tératon k, un système lnéare de matrce M µ. En réalté, on calcule une seule fos la factorsaton LU de M µ et à chaque étape on n a qu à résoudre 2 systèmes trangulares. Notons que q (k) est une approxmaton du vecteur propre de M µ - qu est assocé à la valeur propre ξ m. Mas, ayant M µ -, M µ et A les mêmes vecteurs propres, on peut applquer le quotent de Raylegh drectement à la matrce A pour obtenr une approxmaton de λ m. 27
Proprétés La méthode de la pussance nverse est plus coûteuse que la méthode drecte. Elle peut converger vers n mporte quelle valeur propre de A. Une fos µ fxé, la méthode de la pussance nverse converge vers la valeur propre de A la plus proche a µ. La convergence est d autant plus rapde que λ m est proche de µ. S µ=0 la méthode de la pussance nverse converge vers la plus pette valeur propre de A. La méthode peut être utle pour raffner une soluton approchée et pour calculer le vecteur propre assocé. 28
Code Quarteron Méthode drecte functon [nu,x,nter,err]=powerm(a,z0,tol,nmax) où nu et x content l approxmaton de la valeur propre et du vecteur propre. Méthode nverse functon [sgma,x,nter,err]=nvpower(a,z0,mu,tol,nmax) 29
Exemple 2 7 (0) A= 5 7 7 q = λ λ 3 4 4 20 [ ] = 24 = 8 25 20 s_power Extremes egenvalues 5 0 5 0 2 4 6 8 0 2 4 6 Iteratons 30
Condtonnement du problème Sot A une matrce dagonalsable et X la matrce des vecteurs propres. En ce qu concerne l analyse de stablté a pror, on a le théorème suvant: Théorème Bauer-Fke. S µ est une valeur propre de la matrce A+E, alors mnλ µ κ E λ σ( A) ou κ p (X)= X p X - p est le condtonnement du problème aux valeurs propres de la matrce A. p p S X est orthogonale, le problème est ben condtonné. 3
Sommare et références Défnton de valeur/vecteur propre TP et Chap. (page 0-) Localsaton par. 5. Méthode de la pussance par. 5.3 Théorème Bauer-Fke par. 5.2 32