Apprentissage non paramétrique en régression

Dimension: px
Commencer à balayer dès la page:

Download "Apprentissage non paramétrique en régression"

Transcription

1 1 Apprentissage non paramétrique en régression Apprentissage non paramétrique en régression Résumé Différentes méthodes d estimation non paramétriques en régression sont présentées. Tout d abord les plus classiques : estimation par des polynômes, estimation sur des bases de splines, estimateurs à noyau et par projection sur des bases orthonormées Fourier, ondelettes). Des contrôles du risque quadratique et des calculs de vitesses de convergences sont effectués. ous présentons également les modèles additifs généralisés ainsi que les arbres de régression CART et la méthode KRLS kernel regression least square). Retour au plan du cours 1 Introduction On se place dans le cadre d un modèle de régression : Y i fx i ) + ε i, i 1,... n. ous supposerons que les variables X i appartiennent à R d, les Y i sont réelles. Soit les X i sont déterministes, et nous supposerons les variables ε i sont i.i.d., centrées, de variance σ 2. Soit les X i sont aléatoires et nous supposerons les variables ε i indépendantes des X i, i.i.d., centrées, de variance σ 2. En l absence de toute hypothèse sur la fonction de régression f, nous sommes dans un cadre non paramétrique. ous allons proposer plusieurs types de méthodes d apprentissage pour la fonction f : l estimation par des splines, les estimateurs à noyaux et les estimateurs par projection sur des bases orthonormées, notamment des bases d ondelettes. ous verrons également une méthode qui permet de contourner le fléau de la dimension dans le cas des modèles additifs, enfin nous introduirons les arbres CART. 2 Estimation par des polynômes par morceaux. Dans ce chapitre, on suppose que les X i appartiennent à un compact de R, que l on peut supposer égal à [, 1]. 2.1 Estimation par des constantes par morceaux On peut estimer la fonction f par une fonction constante par morceaux sur une partition de [, 1]. Ces estimateurs sont les analogues en régression des estimateurs par histogramme en densité, on les appelle régressogrammes). On découpe [, 1] en D intervalles de même taille : I k,d 1 ]k/d,k+1)/d], k,..., D 1. Il est naturel d estimer la fonction f sur l intervalle I k,d par la moyenne des valeurs de Y i qui sont telles que X i I k,d, soit pour tout x I k,d, on pose i,x ˆf D x) i I k,d Y i {i, X i I k,d } si {i, X i I k,d } et ˆf D x) si {i, X i I k,d }. On peut aussi écrire ˆf D x) sous la forme n ˆf D x) Y i1 Xi I k,d n 1. X i I k,d On suppose dans la suite que D < n, si pour tout i, X i i/n, ceci entraîne que pour tout k, {i, X i I k,d }. Cet estimateur correspond à l estimateur des moindres carrés de f sur le modèle paramétrique des fonctions constantes par morceaux sur les intervalles I k,d : D S D {fx) a k 1 x Ik,D }.

2 2 Apprentissage non paramétrique en régression En effet, si on cherche à minimiser ha 1,..., a D ) ) 2 D Y i a k 1 Xi I k,d la minimisation est obtenue pour i,x â l i I l,d Y i {i, X i I l,d }, 2.2 Polynômes par morceaux l. D i,x i I k,d Y i a k ) 2, L estimation par des polynômes par morceaux de degré m sur la partition définie par les intervalles I k,d, 1 k D correspond à la minimisation du critère : ) 2 D Y i a k, + a k,1 X i a k,m Xi m )1 Xi I k,d D i,x i I k,d Y i a k, a k,1 X i... a k,m X m i ) 2. Sur tout intervalle I k,d, on ajuste un polynôme de degré m, par la méthode des moindres carrés en minimisant le critère : i,x i I k,d Y i a k, a k,1 X i... a k,m X m i ) 2. Il s agit simplement d un modèle linéaire en les paramètres a k,,..., a k,m ), il y a donc une solution explicite. Le problème du choix des paramètres D et m se pose. 2.3 Ajustement des paramètres Revenons au cas de l estimation par des constantes par morceaux, et considérons le problème du choix du paramètre D. On peut alors distinguer deux cas extrêmes : 1) Si D est de l ordre de n, on a un seul point X i par intervalle I k,d et on estime f par Y i sur chaque intervalle I k,d. On a une fonction très irrégulière, qui reproduit simplement les observations. On fait alors du sur-ajustement. Si D 1, on estime f sur [, 1] par la moyenne de toutes les observations Y i. Si f est très loin d être une fonction constante, l estimateur sera mal ajusté. Il faut donc trouver un bon compromis entre ces deux situations extrêmes pour le choix de D. 2.4 Performances de l estimateur. ous allons majorer le risque quadratique de l estimateur, pour un choix convenable de D, dans le cas où la fonction de régression f est Lipschitzienne : on suppose que f est dans la classe de fonctions S 1,R {f L 2 [, 1]), x, y [, 1], fx) fy) R x y }. THÉORÈME 1. Dans le modèle l estimateur avec vérifie Y i f i n ) + ε i, i 1,..., n, n ˆf D x) Y i1 Xi I k,d n 1, X i I k,d D Dn) [nr 2 ) 1/3 ] sup E f [ ˆf D f 2 2] Cσ)R 2 3 n 2 3. f S 1,R Bien entendu, ce résultat est purement théorique, car en pratique, on ne sait pas si la fonction f appartient à la classe S 1,R. ous verrons à la Section 1 des méthodes pratiques de choix de D par validation croisée. Démonstration.

3 3 Apprentissage non paramétrique en régression Calcul de l espérance Pour tout x I k,d, ) E f ˆfD x) i,x i I k,d fx i ) {i, X i I k,d }. ) i,x E f ˆfD x) fx) i I k,d fx i ) fx)). {i, X i I k,d } Si on fait l hypothèse que f S 1,R alors pour x et X i dans le même intervalle I k,d, x X i 1/D, ce qui implique fx) fx i ) RD 1. Ainsi Biais ˆf ) D x)) E f ˆfD x) fx) R D. Calcul de la variance Var ˆf D x)) E f [ ˆf D x) E f ˆf D x))) 2 ] σ 2 {i, X i I k,d }. On utilise comme critère pour mesurer les performances de notre estimateur le risque L 2 [, 1], dx) c est-à-dire Puisque X i i/n, on remarque aisément que {i, X i I k,d } [n/d] n/2d) si on suppose D n/2. Ceci implique : L ˆf D, f) 2σ2 D n + R 2 D 2. Il reste à choisir D pour optimiser ce risque quadratique. En posant et on obtient D [nr 2 ) 1/3 ], L ˆf D, f) Cσ)R 2 3 n Estimation sur des bases de splines ous supposons ici que les X i appartiennent R. Les estimateurs de la section précédente ne sont pas continus, pour obtenir des estimateurs qui sont des polynômes par morceaux et qui ont des propriétés de régularité, on utilise les bases de splines. 3.1 Splines linéaires et cubiques On a aussi Or, L ˆf D, f) E f [ L ˆf D, f) 1 1 ˆf D x) fx)) 2 dx]. E f [ ˆf D x) fx)) 2 ]dx. E f [ ˆf D x) fx)) 2 ] E f [ ˆfD x) E f ˆf D x)) + E f ˆf D x)) fx)) 2] E f [ ˆf D x) E f ˆf D x))) 2 ] + [E f ˆf D x)) fx)] 2 Var ˆf D x)) + Biais 2 ˆf D x)) σ 2 {i, X i I k,d } + R2 D 2. fx) β + β 1 x + β 2 x a) + + β 3 x b) + + β 4 x c) où < a < b < c... sont les points qui déterminent les intervalles de la partition appelés les nœuds). fx) β + β 1 x si x a β + β 1 x + β 2 x a) + si a x b β + β 1 x + β 2 x a) + + β 3 x b) + si b x c La fonction f est continue, si on veut imposer plus de régularité par exemple f de classe C 2 ), on utilise des splines cubiques. fx) β +β 1 x+β 2 x 2 +β 3 x 3 +β 4 x a) 3 ++β 5 x b) 3 ++β 4 x c)

4 4 Apprentissage non paramétrique en régression La fonction x a) 3 s annule ainsi que ses dérivées d ordre 1 et 2 en a donc f est de classe C 2. Pour éviter les problèmes de bords, on impose souvent des contraintes supplémentaires aux splines cubiques, notamment la linéarité de la fonction sur les deux intervalles correspondant aux extrémités. On se place sur [, 1]. ξ < ξ 1 <... < ξ K < 1. fx) β + β 1 x + β 2 x 2 + β 3 x 3 + K θ k x ξ k ) 3 +. On impose f ) f 3) ), f ξ K ) f 3) ξ K ). On en déduit : β 2 β 3, fx) β + β 1 x + K θ k ξ K ξ k ), K θ k. K θ k [x ξ k ) 3 + x ξ K ) 3 +] K 1 β + β 1 x + θ k ξ K ξ k )[ x ξ k) 3 + x ξ K ) 3 + ] ξ K ξ k ) On pose γ k θ k ξ K ξ k ) et d k x) x ξ k) 3 + x ξ K) 3 + ξ K ξ k ). K 1 γ k. K 2 fx) β + β 1 x + γ k d k x) d K 1 x)). On obtient la base de splines naturels : 1 x) 1, 2 x) x, 1 k K 2, k+2 x) d k x) d K 1 x). On doit choisir la position et le nombre de nœuds. 3.2 Méthodes de régularisation On se place dans un modèle de régression : Y i fx i ) + ɛ i, 1 i n. On minimise parmi les fonctions f splines naturels de nœuds en les X i fx) n θ k k x)) le critère pénalisé : Cf, λ) Y i fx i )) 2 + λ où λ >. En notant Ω l,k 1 à minimiser est La solution est : et THÉORÈME 2. On note k 1 f t)) 2 dt, x) l x)dx et i,j j X i ), le critère Cθ, λ) Y θ 2 + λθ Ωθ. ˆθ + λω) 1 Y ˆfx) ˆθ k k x). 2) F {f, C 2 [, 1]), 1 f 2 t)dt < + }. On se donne n 2, < X 1 <... < X n < 1 et y 1,..., y n ) R n. Pour f F, et λ >, on note Cf, λ) Y i fx i )) 2 + λ 1 f t)) 2 dt. Pour tout λ >, il existe un unique minimiseur dans F de Cf, λ), qui est la fonction définie en 2).

5 5 Apprentissage non paramétrique en régression 4 Estimateurs à noyau On considère le modèle Y i fx i ) + ε i, i 1,..., n 3) où les X i appartiennent à R d, les ε i sont i.i.d. centrées de variance σ 2, les X i et les ε i sont indépendantes. 4.1 Définition des estimateurs a noyau. DÉFIITIO 3. On appelle noyau une fonction K : R d R telle que K 2 < + et K 1. DÉFIITIO 4. On se donne un réel h > appelé fenêtre) et un noyau K. On appelle estimateur à noyau de f dans le modèle 3) associé au noyau K et à la fenêtre h la fonction ˆf h définie par : n ˆf h x) Y ik x X i ) h n K ) x X i. h Dans le cas où les X i sont de loi uniforme sur [, 1] d, on trouve aussi la définition suivante : ˆf h x) 1 ) x Xi nh d Y i K. 4) h Si par exemple d 1 et Ku) 1/2)1 u 1, ˆfh x) est la moyenne des Y i tels que X i x h. Il s agit d un estimateur constant par morceaux. Cas extrêmes : Supposons d 1 et les X i équirépartis sur [, 1]. -Si h 1/n, l estimateur est très irrégulier et reproduit simplement les observations. -Si h 1, pour tout x, ˆf h x) n Y i/n. Il faut donc, ici encore chercher une valeur de h qui réalise un bon compromis entre le terme de biais et le terme de variance. Remarque : on utilise plus généralement des noyaux réguliers, ce qui permet d obtenir des estimateurs réguliers. Exemples de noyaux en dimension 1 : -Le noyau triangulaire Kx) 1 x )1 x 1. -Le noyau gaussien Kx) 1 2π e x2 /2. -Le noyau parabolique Kx) x2 )1 x Propriétés des estimateurs à noyau. Pour simplifier les calculs, on se place dans un modèle où les X i sont aléatoires, de loi uniforme sur [, 1], et on considère l estimateur défini en 4). THÉORÈME 5. On suppose que f Σβ, R) définie par { Σβ, R) f C l [, 1]), x, y [, 1], f l) x) f l) y) R x y α}, où β l + α avec l entier et α ], 1]. On fait les hypothèses suivantes sur K : H1 u j Ku)du pour j 1,..., l. H2 u β Ku) du < +. En choisissant h de sorte que h nr 2 ) 1/1+2β), on obtient, f Σβ, R), 1 ) E f ˆf h x) fx)) 2 Démonstration. Calcul du biais : en notant K h 1/h)K./h), E f ˆf h x)) 1 Cβ, σ, s )R 2 1+2β n 2β 1+2β. fy)k h x y)dy f K h x). On a alors, puisque K 1, E f ˆf h x)) fx) fx uh) fx))ku)du.

6 6 Apprentissage non paramétrique en régression On utilise un développement de Taylor : fx uh) fx) f x)uh + f x) uh)2 2 avec τ 1. En utilisant l hypothèse H1, E f ˆf h x)) fx) f l) x τuh) uh)l l! f l) x τuh) uh)l Ku)du l! f l) x τuh) f l) x)) uh)l Ku)du. l! Puisque f Σβ, R), et en utilisant l hypothèse H2, on obtient Calcul de la variance : E f ˆf h x)) fx) Rτ α h β 1 l! V ar ˆf h x)) 1 n n 2 V ary i K h x X i )). De plus, 1 n 2 n E s [Y 2 i K 2 hx X i )] u β Ku) du. 1 n n 2 E[f 2 X i )Khx 2 X i ) + ε 2 i Khx 2 X i )]. E[f 2 X i )K 2 hx X i )] f 2 y) 1 h 2 K2 x y h )dy f 2 x uh) 1 h K2 u)du f 2 1 K 2. h Il en résulte que Puisque E f 1 on obtient E f 1 1 E[ε 2 i Khx 2 X i )] σ 2 h 2 K2 x y h )dy σ2 K 2. h ) ˆf h x) fx)) 2 dx V ar ˆf h x)) C f, σ) 1 nh. ) ˆf h x) fx)) 2 dx En choisissant h de sorte que 1 Biais 2 ˆf h x)) + V ar ˆf ) h x)) dx, Cβ, σ, f ) R 2 h 2β + 1 ). nh R 2 h 2β 1 nh, c est-à-dire h nr 2 ) 1/1+2β), on obtient le résultat souhaité. 5 Estimation ponctuelle par des polynômes locaux Dans la section 2, nous nous étions donné une partition à priori, elle ne dépendait pas des observations. L estimation de la fonction de régression en un point x était construite à partir des observations pour lesquelles X i était dans le même intervalle de la partition que x, ce qui conduit à des estimateurs irréguliers. Une idée naturelle est d estimer la fonction de régression en un point x à partir des observations pour lesquelles X i est "proche" de x. Plus généralement, on introduit une fonction de poids w i x)) construite à partir

7 7 Apprentissage non paramétrique en régression d un noyau : w i x) KX i x)/h) qui va attribuer un poids plus important aux observations pour lesquelles X i est "proche" de x, et on minimise en a) la somme des carrés pondérée : La solution est donnée par w i x)y i a) 2. a ˆf n x) n w ix)y i n w ix), 5) ce qui correspond à l estimateur à noyau de la fonction de régression! On peut généraliser la formule ci-dessus en remplaçant la constante a par un polynôme de degré p : on se donne un point x en lequel on souhaite estimer la fonction de régression. Pour u dans un voisinage de x, on considère le polynôme P x u, a) a + a 1 u x) a p p! u x)p. On cherche à estimer la fonction de régression au voisinage de x par le polynôme P x u, a) où le vecteur a a,... a p ) est obtenu par minimisation de la somme des carrés pondérée : w i x)y i a a 1 X i x)... a p p! X i x) p ) 2. La solution obtenue est le vecteur âx) â x),... â p x)), l estimateur local de la fonction de régression f est ˆf n u) â x) + â 1 x)u x) âpx) u x) p. p! Au point x, où l on souhaite réaliser l estimation, on obtient : ˆf n x) â x). Attention, cet estimateur ne correspond pas à celui que l on obtient en 5), qui correspond à p c est l estimateur à noyau). Si p 1, on parle de régression linéaire locale. On peut expliciter la valeur de â x) à partir d un critère des moindres carrés pondérés : soit X x la matrice X 1 X 1 x... 1 x) p p! X 1 X 2 x... 2 x) p p! X x X n x... X n x) p p! Soit W x la matrice diagonale de i-ème élément sur la diagonale w i x). On a alors : w i x)y i a a 1 X i x)... a p p! X i x) p ) 2 Y X x a) W x Y X x a). Minimiser l expression ci-dessus conduit à l estimateur des moindres carrés pondérés : âx) X xw x X x ) 1 X xw x Y, et l estimateur par polynômes locaux au point x correspond à ˆf n x) â x), c est-à-dire au produit scalaire du vecteur Y avec la première ligne de la matrice X xw x X x ) 1 X xw x. On obtient le théorème suivant : THÉORÈME 6. L estimateur par polynômes locaux au point x est où lx) l 1 x),..., l n x)), avec e 1 1,,..., ). ˆf n x) l i x)y i lx) e 1X xw x X x ) 1 X xw x, E ˆf n x)) l i x)fx i ) Var ˆf n x)) σ 2 n l 2 i x).

8 8 Apprentissage non paramétrique en régression 6 Estimateurs par projection On se place dans le modèle Y i fx i ) + ε i, i 1,..., n. 6) Soit φ j, j 1) une base orthonormée de L 2 [, 1]). On se donne D 1 et on pose S D Vect{φ 1,..., φ D }. On note f D la projection orthogonale de f sur S D dans L 2 [, 1]) : où Il est naturel d estimer θ j par f D D f, φ j φ j, j1 θ j f, φ j ˆθ j 1 n En effet, si les X i sont déterministes, Eˆθ j ) 1 n 1 fx)φ j x)dx. Y i φ j X i ). fx i )φ j X i ), et si fφ j est régulière et les X i équirépartis sur [, 1], ceci est proche de θ j. Si les X i sont aléatoires, de loi uniforme sur [, 1], on a On introduit alors l estimateur ˆf D x) Eˆθ j ) θ j. D ˆθ j φ j x), j1 appelé estimateur par projection. Exemple de la base Fourier On note φ j, j 1) la base trigonométrique de L 2 [, 1]) : φ 1 x) 1 [,1], φ 2k x) 2 cos2πkx) k 1 φ 2k+1 x) 2 sin2πkx) k 1. On obtient pour tout D 1, l estimateur ˆf D x) 1 D Y i φ j X i )φ j x). n j1 ous allons énoncer les performances de l estimateur, lorsque la fonction de régression f appartient à une classe de fonctions périodiques, régulières. DÉFIITIO 7. Soit L > et β l + α avec l et α ], 1]. On définit la classe Σ per β, R) par { Σ per β, R) f C l [, 1]), j,..., l, f j) ) f j) 1), x, y [, 1], f l) x) f l) y) R x y α}. THÉORÈME 8. Dans le modèle Y i f i n ) + ε i, i 1,..., n, où les ε i sont i.i.d. de loi, σ 2 ), l estimateur ˆf D défini pour tout x [, 1] par : ˆf D x) 1 D Y i φ j X i )φ j x) n j1 avec D [nr 2 ) 1/1+2β) ], vérifie pour tout β > 1, R >, sup E f ˆf ) D f 2 2 Cβ, σ)r 2 f Σ per β,r) 2β 1+2β n 1+2β. ous introduisons, dans le chapitre suivant, la définition des bases d ondelettes, qui sont utilisées en particulier si la fonction à estimer est très irrégulière.

9 9 Apprentissage non paramétrique en régression 7 Bases d ondelettes et estimation par seuillage Dans ce chapitre, on s intéresse à l estimation de fonctions spatialement inhomogènes, c est-à-dire qui peuvent être très régulières dans certaines zones puis très irrégulières présentant des pics) dans certaines parties de l espace. Les bases d ondelettes sont des bases orthonormées, qui sont bien adaptées pour l estimation de fonctions de ce type. ous supposerons ici que les X i appartiennent à [, 1], mais nous traiterons également en TP des exemples en dimension 2 dans le cadre du traitement d images. 7.1 Bases d ondelettes Base de Haar La base de Haar est la base d ondelettes la plus simple. L ondelette père ou fonction d échelle) est définie par φx) 1 si x [, 1[, sinon. L ondelette mère ou fonction d ondelette) est définie par Pour tout j, k, on pose ψx) 1 si x [, 1/2], φ j,k x) 2 j/2 φ2 j x k), 1 si x ]1/2, 1]. ψ j,k x) 2 j/2 ψ2 j x k). THÉORÈME 9. Les fonctions φ, ψ j,k, j, k {,..., 2 j 1}) forment une base orthonormée de L 2 [, 1]). Il résulte de ce théorème que l on peut développer une fonction de L 2 [, 1]) dans cette base : fx) αφx) + 2 j 1 j k β j,k ψ j,k x). α 1 fx)φx)dx est appelé "coefficient d échelle" et les β j,k 1 fx)ψ j,kx)dx sont appelés "détails". On appelle approximation de f au niveau de résolution J la fonction J 1 f J αφx) + 2 j 1 j k β j,k ψ j,k x). Cette expression comporte 2 J coefficients. Comme l espace engendré par les fonctions φ, ψ j,k, j J 1, k 2 j 1) est l espace des fonctions constantes par morceaux sur les intervalles de longueur 1/2 J, c est-à-dire l espace engendré par les fonctions φ J,k, k 2 J 1), on a aussi f J où α J,k 1 fx)φ J,kx)dx. 2 J 1 k α J,k φ J,k x), La base de Haar est simple à définir, les fonctions sont à support compact, néanmoins cette base fournit des approximations qui ne sont pas régulières. Il existe d autres bases d ondelettes à la fois à support compact et régulières, par exemple les ondelettes de Daubechies voir Daubechies 1992) : Ten Lectures on wavelets). 7.2 Estimation d une fonction de régression avec des ondelettes Les ondelettes sont bien adaptées pour l analyse des signaux recueillis sur une grille régulière, dyadique. On les utilise en traitement du signal et de l image. On considère le modèle Y k f k ) + ɛ k, k 1,..., 2 J,

10 1 Apprentissage non paramétrique en régression On considère les 2 J premières fonctions d une base d ondelettes sur [, 1] : φ, ψ j,k, j J 1, k 2 j 1). On note W la matrice W 1 φ1/) ψ, 1/)... ψ J 1,2J 11/).... φi/) ψ, i/)... ψ J 1,2 J 1i/).... φ/) ψ, /)... ψ J 1,2J 1/) Dans le cas de la base de Haar, W est une matrice orthogonale la base est orthonormée pour le produit scalaire discret). On note W la transposée de W et ˆθ W Y, la tranformée en ondelettes du vecteur Y. Il s agit de l estimateur des moindres carrés de θ dans le modèle Y W θ + ε si W est orthogonale. Débruitage par approximation linéaire : On approxime la fonction de régression f par projection orthogonale de f sur V J : f J αφ + J 1 j 2 j 1 k β j,k ψ j,k, ce qui correspond à regarder seulement les 2 J premiers coefficients d ondelettes. Pour estimer f J, dans ˆθ, on ne garde que les 2 J premiers coefficients, les autres sont annulés, cela forme le vecteur noté ˆθ J, puis on reconstruit le signal débruité : Ŷ J W ) 1 ˆθJ. La fonction de régression f est alors estimée par ˆf J x) 1 φx), ψ, x),..., ψ J 1,2 J 1x))ˆθ J. ˆθ j,k 1 l1 ψ j,k l )Y l 1 l1 β j,k + ɛ l ψ j,k l )f l ) + ɛ l ˆf J x) ˆαφx) + J 1 j 2 j 1 k ˆβ j,k ψ j,k x) où ɛ l 1 l1, σ2 ψ j,k l )ɛ l ψj,k 2 l )). Dans le cas de la base de Haar, σ2 l1 ψ2 j,k l ) σ2. On peut reconstruire le signal à partir de sa transformée en ondelettes par la transformation inverse : l1 Y W ) 1 ˆθ. Y W ˆθdans le cas de la base de Haar. où ˆθ J ˆα, ˆβ j,k, j,... J 1, k,..., 2 j 1,,..., ). Il faut choisir le paramètre J de manière optimale. Débruitage par approximation non linéaire via le seuillage : La méthode de seuillage consiste à minimiser en θ R le critère pénalisé avec une pénalité de type l 1 : Cθ) Y W θ 2 + 2λ θ 1, avec θ 1 θ i. ous supposerons ici que la matrice W est orthogonale, ce qui permet de trouver une solution explicite. Cθ) Y 2 + W θ 2 2 Y, W θ + 2λ θ 1, Y 2 + θ 2 2θ W Y + 2λ θ 1.

11 11 Apprentissage non paramétrique en régression Minimiser Cθ) équivaut à minimiser en θ C θ) θ 2 2θ W Y + 2λ θ 1 2 θ i ˆθi + 2λ θ i + θi 2. Ceci est minimal si pour tout i, θ i est du même signe que ˆθ i. On a donc θ i ˆθi θ i ˆθ i. C θ) 2 θ i ˆθ i + 2λ θ i + Minimiser ce critère en θ équivaut à minimiser La solution est donc : ) 2 θ i ˆθ i λ) ˆθ i λ) 2. θ i ˆθ i λ)) 2. θ i ˆθ i λ si ˆθ i λ si ˆθ i λ θ i signeˆθ i ) ˆθ i λ)1 ˆθi λ. Il s agit du seuillage dit "doux" soft thresholding), on applique une fonction continue à ˆθ i. Le seuillage dur "soft thresholding") consiste à poser on reconstruit le signal débruité : θ i ˆθ i 1 ˆθi λ. Ỹ W θ. La fonction de régression f est estimée par ˆf x) 1 φx), ψ, x),..., ψ J 1,2J 1x)) θ. θ 2 i En notant θ α, β j,k, j,..., J 1, k,... 2 j 1 ), on obtient J 1 ˆf x) αφx) + 2 j 1 j k β j,k ψ j,k x). En pratique, il faut choisir le seuil λ, on prend généralement λ σ 2 log). avec On peut montrer que ˆθ W Y 1 l1 ψ j,k l )f l ) + ɛ l ɛ W ɛ, σ 2 I ). ) E sup 1 i ɛ i σ 2 log). Les coefficients qui sont inférieurs à σ 2 log) sont considérés comme du bruit et sont annulés. Ces méthodes de seuillages fournissent des estimateurs permettant d estimer des signaux très irréguliers notamment des fonctions avec des pics). 8 Modèles additifs généralisés Les méthodes d estimation présentées précédemment vont se heurter au fléau de la dimension. Sous certaines hypothèses de structure sur la fonction de régression, on peut contourner ce problème. ous allons nous intéresser ici à des fonctions de régression additives. ous nous plaçons dans le modèle Y i fx i ) + ε i, où les ε i sont i.i.d. centrées de variance σ 2, et les X i R d. ous supposons que la fonction de régression f est additive, c est-à-dire que fx i,1,..., X i,d ) α + f 1 X i,1 ) f d X i,d ).

12 12 Apprentissage non paramétrique en régression Pour assurer l unicité d une telle écriture, on impose que f j x j )dx j, j 1,..., d. R ous allons décrire dans ce chapitre une méthode d estimation des composantes de ce modèle additif, il s agit des modèles GAM Generalized Additive Models). ous supposerons que chacune des fonctions unidimensionnelles est estimée à l aide de Splines comme dans la section 3.2. On introduit alors le critère pénalisé : Critα, f 1, f 2,..., f p ) + Y i α d λ j j1 d f j X i,j ) j1 f j ) 2 x j )dx j, où les λ j sont des paramètres de régularisation. On peut montrer que la solution de la minimisation de ce critère est un modèle de additif de splines cubiques, chaque fonction ˆf j étant un spline cubique de la variable x j, dont les nœuds correspondent aux valeurs différentes des X i,j, i 1,... n. Pour garantir l unicité du minimiseur, on impose les contraintes j 1,..., d, f j X i,j ). Sous ces conditions, on obtient ˆα n Y i/n, et si la matrice des variables d entrées X i,j n est pas singulière, on peut montrer que le critère est strictement convexe, et admet donc un unique minimiseur. L algorithme suivant, appelé algorithme de backfitting, converge vers la solution : Algorithme de backfitting pour les modèles GAM : 1. Initialisation : ˆα n Y i/n, ˆf j j. 2. Pour l 1 à iter Pour j 1 à d 2 ˆf j minimise Y i ˆα ˆf k X i,k ) f j X i,j ) k j ˆf j : ˆf j 1 n n ˆf j X i,j ). 2 + λ j Arrêt lorsque toutes les fonctions ˆf j sont "stabilisées". f j ) 2 x j )dx j, Le même algorithme peut être utilisée avec d autres méthodes d ajustement que les splines : estimateurs par polynômes locaux, à noyaux, par projection.. Les modèles additifs généralisés sont une extension des modèles linéaires, les rendant plus flexibles, tout en restant facilement interprétables. Ces modèles sont très largement utilisés en modélisation statistique, néanmoins, en très grande dimension, il est difficile de les mettre en œuvre, et il sera utile de les combiner à un algorithme de sélection pour réduire la dimension). 9 Kernel Regression Least Square Un exemple élémentaire de machine à noyau. L objectif est ici de présenter une méthode qui fournit des prédicteurs non linéaires. Le point commun avec les méthodes présentées précédemment est qu il s agit d une méthode de régularisation basée sur un critère des moindres carrés pénalisés. On note X i, Y i ) 1 i n les observations, avec X i R p, Y i R. On se donne un noyau k défini sur R p, symétrique, semi-défini positif : kx, y) ky, x); c i c j kx i, X j ). i,j1 Exemples de noyaux sur R p : Linéaire : kx i, X j ) X i X j X i, X j Polynomial : kx i, X j ) X i X j + 1) d

13 13 Apprentissage non paramétrique en régression Gaussien : Xi X j 2 ) kx i, X j ) exp. On cherche un prédicteur de la forme fx) c j kx j, x), c R n. On note K la matrice définie par K i,j kx i, X j ). La méthode consiste à minimiser pour f de la forme ci-dessus le critère des moindres carrés pénalisés : Y i fx i )) 2 + λ f 2 K, où f 2 K σ 2 c i c j kx i, X j ). i,j1 De manière équivalente, on minimise pour c R n le critère La solution est explicite : On obtient le prédicteur Y Kc 2 + λc Kc. ĉ K + λi n ) 1 Y. ˆfx) ĉ j kx j, x). j1 Ŷ Kĉ. Avec le noyau correspondant au produit scalaire, on retrouve un estimateur linéaire : K XX, ĉ XX + λi n ) 1 Y, ˆfx) ĉ j X j, x. j1 La méthode fournit des estimateurs non linéaires pour les noyaux polynomiaux ou gaussiens par exemple. Un intérêt important de la méthode précédente est la possibilité de généralisation à des prédicteurs X i qui ne sont pas nécessairement dans R p mais qui peuvent être de nature complexe graphes, séquence d AD..) dès lors que l on sait définir un noyau kx, y) symétrique et semi-défini positif agissant sur ces objets. Ceci fait appel à la théorie des RKHS Reproducing Kernel Hilbert Spaces ou Espaces de Hilbert à noyau reproduisant. 1 Arbres de régression CART Les méthodes basées sur les arbres reposent sur une partition de l espace des variables d entrée, puis on ajuste un modèle simple par exemple un modèle constant) sur chaque élément de la partition. On suppose que l on a un échantillon de taille n : X i, Y i ) 1 i n avec X i R d et Y i R. L algorithme CART permet de définir, à partir de l échantillon d apprentissage, une partition automatique de l espace des variables d entrées X i. Supposons que l espace où varient les X i soit partitionné en M régions, notées R 1,... R M. On introduit la classe F des fonctions constantes par morceaux sur chacune des régions : M F {f, fx) c m 1 x Rm }. m1 L estimateur des moindres carrés de la fonction de régression f sur la classe F minimise le critère M Y i fx i )) 2, m1 parmi les fonctions f F. La solution est ˆfx) M ĉ m 1 x Rm, m1 où ĉ m est la moyenne des observations Y i pour lesquelles X i R m. Pour construire la partition, CART procède de la manière suivante : étant donné

14 14 Apprentissage non paramétrique en régression une variable de séparation X j) et un point de séparation s, on considère les demi-espaces R 1 j, s) {X X 1),..., X d) )/X j) s} et R 2 j, s) {X/X j) > s}. La variable de séparation X j) et un point de séparation s sont choisis de manière à résoudre min [ Y i ĉ 1 ) 2 + Y i ĉ 2 ) 2 ]. j,s i,x i R 1j,s) i,x i R 2j,s) Ayant déterminé j et s, on partitionne les données en les deux régions correspondantes, puis on recommence la procédure de séparation sur chacune des deux sous-régions, et ainsi de suite sur chacune des sous-régions obtenues. La taille de l arbre est un paramètre à ajuster, qui va gouverner la complexité du modèle : un arbre de trop grande taille va conduire à un sur-ajustement trop grande variance), au contraire un arbre de petite taille va mal s ajuster à la fonction de régression biais trop élevé). Il est donc nécessaire de choisir une taille "optimale" de manière adaptative à partir des observations. La stratégie adoptée consiste à construire un arbre de grande taille, puis à l élaguer en introduisant un critère pénalisé. On dira que T est un sous-arbre de T si T peut être obtenu en élaguant T, c est-à-dire en réduisant le nombre de nœuds de T. On note T le nombre de nœuds terminaux de l arbre T et R m, m 1,... T, la partition correspondant à ces nœuds terminaux. On note m le nombre d observations pour lesquelles X i R m. On a donc et on introduit le critère C λ T ) ĉ m 1 m T m1 i,x i R m Y i, i,x i R m Y i ĉ m ) 2 + λ T. Pour tout λ, on peut montrer qu il existe un unique arbre minimal T λ qui minimise le critère C λ T ). Pour trouver l arbre T λ, on supprime par étapes successives le nœud interne de l arbre T qui réduit le moins le critère m i,x i R m Y i ĉ m ) 2. Ceci donne une succession de sous-arbres, dont on peut montrer qu elle contient l arbre T λ. Le paramètre de régularisation λ doit à son tour être calibré pour réaliser un bon compromis entre le biais et la variance de l estimateur ainsi obtenu, ou de manière équivalente entre un bon ajustement aux données et une taille pas trop importante pour l arbre. La méthode de validation croisée, décrite en annexe, peut être utilisée. Annexe : Choix d un paramètre de lissage par validation croisée Dans le cas des estimateurs à noyaux, et pour les estimateurs par polynômes locaux, on doit choisir la fenêtre h ; pour les estimateurs constants par morceaux ou polynômes par morceaux), ainsi que pour les estimateurs par projection, on doit choisir un paramètre D nombre de morceaux de la partition ou dimension de l espace de projection sur lequel on réalise l estimation), pour les arbres CART, on doit choisir le paramètre λ de la procédure d élaguage. Dans ce chapitre, nous allons décrire la méthode de validation croisée, qui est une méthode possible pour choisir ces paramètres, ce qui correspond à sélectionner un estimateur dans une collection d estimateurs. otons λ le paramètre à choisir. Soit ˆfn,λ l estimateur de la fonction de régression f associé à ce paramètre λ. On considère l erreur quadratique moyenne : ) 1 Rλ) E n ˆf n,λ X i ) fx i )) 2. Idéalement, on souhaiterait choisir λ de manière à minimiser Rλ), mais cette quantité dépend de la fonction inconnue f. Une première idée est d estimer Rλ) par l erreur d apprentissage : 1 n Y i ˆf n,λ X i )) 2, mais cette quantité sous-estime Rλ) et conduit à un sur-ajustement. Ceci est dû au fait que l on utilise les mêmes données pour construire l estimateur ˆf n,λ

15 15 Apprentissage non paramétrique en régression qui est construit pour bien s ajuster à l échantillon d apprentissage) et pour estimer l erreur commise par cet estimateur. Pour avoir une meilleure estimation du risque, on doit construire l estimateur du risque avec des observations qui n ont pas été utilisées pour construire l estimateur ˆf n,λ. Idéalement, si on avait assez d observations, on pourrait les séparer en un échantillon d apprentissage et un échantillon test. Ce n est généralement pas le cas, et on souhaite utiliser l ensemble des données d apprentissage pour la construction de l estimateur. On va alors avoir recours à la validation croisée. On partitionne l échantillon d apprentissage en V blocs, notés B 1,... B V, de tailles à peu près identiques. v) Pour tout v de 1 à V, on note ˆf n,λ l estimateur obtenu en supprimant de l échantillon d apprentissage les données appartenant au bloc B v. DÉFIITIO 1. On définit le score de validation croisée V -fold par : ˆf vi)) CV ˆRλ) 1 Y i ˆf vi)) n,λ X i )) 2, où n,λ est l estimateur de f obtenu en enlevant les observations du bloc qui contient l observation i. Le principe de la validation croisée est de choisir une valeur ˆλ de λ qui minimise la quantité ˆRλ). Un cas particulier correspond à la validation croisée leave-one-out, obtenue quand on considère n blocs, chacun réduits à une observation. DÉFIITIO 11. par : où Le score de validation croisée leave-one-out est défini CV ˆRλ) 1 n Y i ˆf i) n,λ X i)) 2, ˆf i) n,λ est l estimateur de f obtenu en enlevant l observation X i, Y i ). L idée de la validation croisée leave-one-out vient du calcul suivant : EY i i) ˆf n,λ X i)) 2 i) ) EY i fx i ) + fx i ) ˆf n,λ X i)) 2 ) σ 2 + EfX i ) ˆf i) n,λ X i)) 2 ) σ 2 + EfX i ) ˆf n,λ X i )) 2 ). On obtient donc E ˆRλ)) σ 2 + Rλ). Le calcul de ˆRλ) peut s avérer long, mais dans certains cas, il n est pas nécessaire de recalculer n fois un estimateur de la fonction de régression. Pour la plupart des méthodes traitées dans ce chapitre, l estimateur correspond à un algorithme de moyennes locales, c est-à-dire est de la forme ˆf n,λ x) Y j l j x), j1 avec n j1 l jx) 1, et on peut montrer que avec ˆf i) n,λ x) n j1 l i) j x) si j i Y j l i) j x), l j x) k i l si j i. kx) THÉORÈME 12. Sous les hypothèses ci-dessus concernant l estimateur, le score de validation croisée leave-one-out est égal à : CV ˆRλ) 1 n Y i ˆf ) 2 n,λ X i ). 1 l i X i ) On trouve également dans les logiciels une définition légèrement différente : DÉFIITIO 13. quantité : On appelle score de validation croisée généralisée la GCV λ) 1 n où ν/n n l ix i )/n. Y i ˆf ) 2 n,λ X i ), 1 ν/n

16 16 Apprentissage non paramétrique en régression Dans cette définition, l i X i ) est remplacé par la moyenne des l i X i ). En pratique, les deux méthodes donnent généralement des résultats assez proches. En utilisant l approximation 1 x) x pour x proche de, on obtient : GCV λ) 1 n Y i ˆf n,λ X i )) 2 + 2νˆσ2 n, où ˆσ 2 1 n n Y i ˆf n,λ X i )) 2. Cela correspond au critère C p de Mallows.

Restauration d images

Restauration d images Restauration d images Plan Présentation du problème. Premières solutions naïves (moindre carrés, inverse généralisée). Méthodes de régularisation. Panorama des méthodes récentes. Problème général Un système

Plus en détail

Calculs approchés d un point fixe

Calculs approchés d un point fixe M11 ÉPREUVE COMMUNE DE TIPE 2013 - Partie D TITRE : Calculs approchés d un point fixe Temps de préparation :.. 2 h 15 minutes Temps de présentation devant les examinateurs :.10 minutes Dialogue avec les

Plus en détail

Méthodes avancées en décision

Méthodes avancées en décision Méthodes avancées en décision Support vector machines - Chapitre 2 - Principes MRE et MRS Principe MRE. Il s agit de minimiser la fonctionnelle de risque 1 P e (d) = y d(x;w, b) p(x, y) dxdy. 2 La densité

Plus en détail

Séance 12: Algorithmes de Support Vector Machines

Séance 12: Algorithmes de Support Vector Machines Séance 12: Algorithmes de Support Vector Machines Laboratoire de Statistique et Probabilités UMR 5583 CNRS-UPS www.lsp.ups-tlse.fr/gadat Douzième partie XII Algorithmes de Support Vector Machines Principe

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Simulation de variables aléatoires S. Robin INA PG, Biométrie Décembre 1997 Table des matières 1 Introduction Variables aléatoires discrètes 3.1 Pile ou face................................... 3. Loi de

Plus en détail

Introduction aux Support Vector Machines (SVM)

Introduction aux Support Vector Machines (SVM) Introduction aux Support Vector Machines (SVM) Olivier Bousquet Centre de Mathématiques Appliquées Ecole Polytechnique, Palaiseau Orsay, 15 Novembre 2001 But de l exposé 2 Présenter les SVM Encourager

Plus en détail

Cours STAT 2150. "Statistique non paramétrique: Méthodes de lissage"

Cours STAT 2150. Statistique non paramétrique: Méthodes de lissage Cours STAT 2150 "Statistique non paramétrique: Méthodes de lissage" Année académique 2008-2009 Séance 1 1 Table de matière du cours 1. Introduction (Fonction de répartition, histogramme, propriétés d un

Plus en détail

Inférence via distribution asymptotique Objective : Construction des intervalles de confiance (approximatifs) c 2 µ 2 m (2) σ 2

Inférence via distribution asymptotique Objective : Construction des intervalles de confiance (approximatifs) c 2 µ 2 m (2) σ 2 Inférence via distribution asymptotique Objective : Construction des intervalles de confiance (approximatifs) Soit h = c n 1/5. Donc, par conséquent d un TCL, pour n : Estimateur localement linéaire :

Plus en détail

Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre

Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre IUFM du Limousin 2009-10 PLC1 Mathématiques S. Vinatier Rappels de cours Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre 1 Fonctions de plusieurs variables

Plus en détail

Résolution d équations non linéaires

Résolution d équations non linéaires Analyse Numérique Résolution d équations non linéaires Said EL HAJJI et Touria GHEMIRES Université Mohammed V - Agdal. Faculté des Sciences Département de Mathématiques. Laboratoire de Mathématiques, Informatique

Plus en détail

1 - INTERPOLATION. J-P. Croisille. Semestre S7, master de mathématiques M1, année 2008/2009. Université Paul Verlaine-Metz

1 - INTERPOLATION. J-P. Croisille. Semestre S7, master de mathématiques M1, année 2008/2009. Université Paul Verlaine-Metz 1 - INTERPOLATION J-P. Croisille Université Paul Verlaine-Metz Semestre S7, master de mathématiques M1, année 2008/2009 1- INTRODUCTION Théorie de l interpolation: approximation de f(x) par une fonction

Plus en détail

Chapitre 2 Le problème de l unicité des solutions

Chapitre 2 Le problème de l unicité des solutions Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)

Plus en détail

Cours de spécialité mathématiques en Terminale ES

Cours de spécialité mathématiques en Terminale ES Cours de spécialité mathématiques en Terminale ES O. Lader 2014/2015 Lycée Jean Vilar Spé math terminale ES 2014/2015 1 / 51 Systèmes linéaires Deux exemples de systèmes linéaires à deux équations et deux

Plus en détail

Probabilités. I- Expérience aléatoire, espace probabilisé : ShotGun. 1- Définitions :

Probabilités. I- Expérience aléatoire, espace probabilisé : ShotGun. 1- Définitions : Probabilités I- Expérience aléatoire, espace probabilisé : 1- Définitions : Ω : Ensemble dont les points w sont les résultats possibles de l expérience Des évènements A parties de Ω appartiennent à A une

Plus en détail

Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48

Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48 Méthodes de Polytech Paris-UPMC - p. 1/48 Polynôme d interpolation de Preuve et polynôme de Calcul de l erreur d interpolation Étude de la formule d erreur Autres méthodes - p. 2/48 Polynôme d interpolation

Plus en détail

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Université Paris1, Licence 00-003, Mme Pradel : Principales lois de Probabilité 1 DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Notations Si la variable aléatoire X suit la loi L, onnoterax

Plus en détail

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques

Plus en détail

Support Vector Machines

Support Vector Machines Support Vector Machines Séparateurs à vaste marge Arnaud Revel revel.arnaud@gmail.com Plan 1 Introduction 2 Formalisation 3 Utilisation des noyaux 4 Cas multi-classes 5 Applications des SVM 6 Bibliographie

Plus en détail

Exercices théoriques

Exercices théoriques École normale supérieure 2008-2009 Département d informatique Algorithmique et Programmation TD n 9 : Programmation Linéaire Avec Solutions Exercices théoriques Rappel : Dual d un programme linéaire cf.

Plus en détail

L2 MIEE 2012-2013 VAR Université de Rennes 1

L2 MIEE 2012-2013 VAR Université de Rennes 1 . Sous-ensembles de R n et fonctions (suite) 1 Nappes paramétrées Si f une fonction de deux variables, son graphe est une surface incluse dans R 3 : {(x, y, f(x, y)) / (x, y) R 2 }. Une telle surface s

Plus en détail

I. Polynômes de Tchebychev

I. Polynômes de Tchebychev Première épreuve CCP filière MP I. Polynômes de Tchebychev ( ) 1.a) Tout réel θ vérifie cos(nθ) = Re ((cos θ + i sin θ) n ) = Re Cn k (cos θ) n k i k (sin θ) k Or i k est réel quand k est pair et imaginaire

Plus en détail

Cours d Analyse. Fonctions de plusieurs variables

Cours d Analyse. Fonctions de plusieurs variables Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........

Plus en détail

Théorème du point fixe - Théorème de l inversion locale

Théorème du point fixe - Théorème de l inversion locale Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion

Plus en détail

PAD - Notes de cours. S. Rigal, D. Ruiz, et J. C. Satgé

PAD - Notes de cours. S. Rigal, D. Ruiz, et J. C. Satgé ALGÈBRE PAD - Notes de cours S. Rigal, D. Ruiz, et J. C. Satgé November 23, 2006 Table des Matières Espaces vectoriels Applications linéaires - Espaces vectoriels............................... 3 -. Approche

Plus en détail

3 Approximation de solutions d équations

3 Approximation de solutions d équations 3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle

Plus en détail

À propos des matrices échelonnées

À propos des matrices échelonnées À propos des matrices échelonnées Antoine Ducros appendice au cours de Géométrie affine et euclidienne dispensé à l Université Paris 6 Année universitaire 2011-2012 Introduction Soit k un corps, soit E

Plus en détail

Séries de Fourier. T f (x) exp 2iπn x T dx, n Z. T/2 f (x) cos ( ) f (x) dx a n (f) = 2 T. f (x) cos 2πn x )

Séries de Fourier. T f (x) exp 2iπn x T dx, n Z. T/2 f (x) cos ( ) f (x) dx a n (f) = 2 T. f (x) cos 2πn x ) Séries de Fourier Les séries de Fourier constituent un outil fondamental de la théorie du signal. Il donne lieu à des prolongements et des extensions nombreux. Les séries de Fourier permettent à la fois

Plus en détail

Apprentissage par méthodes à noyaux en reconnaissance d images

Apprentissage par méthodes à noyaux en reconnaissance d images Apprentissage par méthodes à noyaux en reconnaissance d images Alberto Bietti Table des matières Introduction 2 1 Apprentissage par méthodes à noyaux 2 1.1 Position du problème et motivation..........................

Plus en détail

Outils d analyse fonctionnelle Cours 5 Théorie spectrale

Outils d analyse fonctionnelle Cours 5 Théorie spectrale Outils d analyse fonctionnelle Cours 5 Théorie spectrale 22 septembre 2015 Généralités Dans tout ce qui suit V désigne un espace de Hilbert réel muni d un produit scalaire x, y. Définition Soit A une application

Plus en détail

Programmation linéaire

Programmation linéaire 1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit

Plus en détail

Heuristique et métaheuristique. 8. Optimisation combinatoire et métaheuristiques. Optimisation combinatoire. Problème du voyageur de commerce

Heuristique et métaheuristique. 8. Optimisation combinatoire et métaheuristiques. Optimisation combinatoire. Problème du voyageur de commerce Heuristique et métaheuristique IFT1575 Modèles de recherche opérationnelle (RO) 8. Optimisation combinatoire et métaheuristiques Un algorithme heuristique permet d identifier au moins une solution réalisable

Plus en détail

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante

Plus en détail

Chapitre 5: Opérateurs dans les espaces de Hilbert. Notions d opérateur adjoint

Chapitre 5: Opérateurs dans les espaces de Hilbert. Notions d opérateur adjoint Chapitre 5: Opérateurs dans les espaces de Hilbert. Notions d opérateur adjoint 18 mars 2008 1 Généralités sur les opérateurs 1.1 Définitions Soient H et H deux espaces de Hilbert sur C. Définition 1.1

Plus en détail

2. MATRICES ET APPLICATIONS LINÉAIRES

2. MATRICES ET APPLICATIONS LINÉAIRES 2. MATRICES ET APPLICATIONS LINÉAIRES 2.1 Définition Une matrice n m est un tableau rectangulaire de nombres (réels en général) à n lignes et m colonnes ; n et m sont les dimensions de la matrice. Notation.

Plus en détail

Dérivées d ordres supérieurs. Application à l étude d extrema.

Dérivées d ordres supérieurs. Application à l étude d extrema. Chapitre 5 Dérivées d ordres supérieurs. Application à l étude d extrema. On s intéresse dans ce chapitre aux dérivées d ordre ou plus d une fonction de plusieurs variables. Comme pour une fonction d une

Plus en détail

1.1 Définitions... 2 1.2 Opérations élémentaires... 2 1.3 Systèmes échelonnés et triangulaires... 3

1.1 Définitions... 2 1.2 Opérations élémentaires... 2 1.3 Systèmes échelonnés et triangulaires... 3 Chapitre 5 Systèmes linéaires 1 Généralités sur les systèmes linéaires 2 11 Définitions 2 12 Opérations élémentaires 2 13 Systèmes échelonnés et triangulaires 3 2 Résolution des systèmes linéaires 3 21

Plus en détail

Sélection de variables groupées avec les forêts aléatoires. Application à l analyse des données fonctionnelles multivariées.

Sélection de variables groupées avec les forêts aléatoires. Application à l analyse des données fonctionnelles multivariées. Sélection de variables groupées avec les forêts aléatoires. Application à l analyse des données fonctionnelles multivariées. Baptiste Gregorutti 12, Bertrand Michel 2 & Philippe Saint Pierre 2 1 Safety

Plus en détail

Cours de mathématiques - Alternance Gea

Cours de mathématiques - Alternance Gea Cours de mathématiques - Alternance Gea Anne Fredet 11 décembre 005 1 Calcul matriciel Une matrice n m est un tableau de nombres à n lignes( et m colonnes. 1 0 Par exemple, avec n = et m =, on peut considérer

Plus en détail

Rapport de Recherche. 1 Estimation fonctionnelle en temps continu. 1.1 Vitesses de convergence pour l estimateur à noyau. (D. Blanke - Mars 2008)

Rapport de Recherche. 1 Estimation fonctionnelle en temps continu. 1.1 Vitesses de convergence pour l estimateur à noyau. (D. Blanke - Mars 2008) Rapport de Recherche (D. Blanke - Mars 2008) L essentiel de mes activités de recherche porte sur l estimation fonctionnelle ou paramétrique pour des processus. L ensemble de ces travaux peut se diviser

Plus en détail

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry Outils mathématiques pour le datamining http://wwwelsewarefr/univevry Géométrie Distance Distance entre parties Matrice de variance/covariance Inertie Minimisation Probabilités Définition Théorème de Bayes

Plus en détail

MULTIPLICATION RAPIDE : KARATSUBA ET FFT

MULTIPLICATION RAPIDE : KARATSUBA ET FFT MULTIPLICATION RAPIDE : KARATSUBA ET FFT 1. Introduction La multiplication est une opération élémentaire qu on utilise évidemment très souvent, et la rapidité des nombreux algorithmes qui l utilisent dépend

Plus en détail

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 Arbres binaires Hélène Milhem Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 H. Milhem (IMT, INSA Toulouse) Arbres binaires IUP SID 2011-2012 1 / 35 PLAN Introduction Construction

Plus en détail

Cours FPV - Semaine 3 : Recherche d Extrema et Formes Différentielles

Cours FPV - Semaine 3 : Recherche d Extrema et Formes Différentielles Cours FPV - Semaine 3 : Recherche d Extrema et Formes Différentielles Frédéric Messine Introduction Dans ce chapitre, nous allons étudier une application de la dérivation des fonctions de plusieurs variables

Plus en détail

Démonstrations exigibles au bac

Démonstrations exigibles au bac Démonstrations exigibles au bac On donne ici les 11 démonstrations de cours répertoriées comme exigibles dans le programme officiel. Toutes ces démonstrations peuvent donner lieu à une «restitution organisée

Plus en détail

Théorie du chaos multiplicatif et application à l étude de la mesure MRM lognormale. 15 novembre 2010

Théorie du chaos multiplicatif et application à l étude de la mesure MRM lognormale. 15 novembre 2010 Théorie du chaos multiplicatif et application à l étude de la mesure MRM lognormale 15 novembre 2010 Table des matières 1 Rappel sur les Processus Gaussiens 2 Théorie du chaos multiplicatif gaussien de

Plus en détail

Régression logistique

Régression logistique Régression logistique Gilles Gasso. INSA Rouen -Département ASI Laboratoire LITIS Régression logistique p. 1 Introduction Objectifs Le classifieur de Bayes est basé sur la comparaison des probabilités

Plus en détail

Introduction à l étude des Corps Finis

Introduction à l étude des Corps Finis Introduction à l étude des Corps Finis Robert Rolland (Résumé) 1 Introduction La structure de corps fini intervient dans divers domaines des mathématiques, en particulier dans la théorie de Galois sur

Plus en détail

TD 3 : Problème géométrique dual et méthode des moindres carrés

TD 3 : Problème géométrique dual et méthode des moindres carrés Semestre, ENSIIE Optimisation mathématique 4 mars 04 TD 3 : Problème géométrique dual et méthode des moindres carrés lionel.rieg@ensiie.fr Exercice On considère le programme géométrique suivant : min x>0,y>0

Plus en détail

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Ludovic Denoyer 21 septembre 2015 Ludovic Denoyer () FDMS 21 septembre 2015 1 / 1 Contexte Observation La plupart des bonnes

Plus en détail

Introduction au cours STA 102 Analyse des données : Méthodes explicatives

Introduction au cours STA 102 Analyse des données : Méthodes explicatives Analyse des données - Méthodes explicatives (STA102) Introduction au cours STA 102 Analyse des données : Méthodes explicatives Giorgio Russolillo giorgio.russolillo@cnam.fr Infos et support du cours Slide

Plus en détail

Introduction au modèle linéaire général

Introduction au modèle linéaire général Résumé Introductions au modèle linéaire général Retour au plan du cours Travaux pratiques 1 Introduction L objet de ce chapitre est d introduire le cadre théorique global permettant de regrouper tous les

Plus en détail

Préparation à l agrégation 2012/2013. Mots clés : Graphes. Vecteur propre ; matrices stochastiques ; matrices à coefficients positifs.

Préparation à l agrégation 2012/2013. Mots clés : Graphes. Vecteur propre ; matrices stochastiques ; matrices à coefficients positifs. Mots clés : Graphes. Vecteur propre ; matrices stochastiques ; matrices à coefficients positifs. Le jury n exige pas une compréhension exhaustive du texte. Vous êtes laissé(e) libre d organiser votre discussion

Plus en détail

Méthodes de Monte-Carlo Simulation de grandeurs aléatoires

Méthodes de Monte-Carlo Simulation de grandeurs aléatoires Méthodes de Monte-Carlo Simulation de grandeurs aléatoires Master Modélisation et Simulation / ENSTA TD 1 2012-2013 Les méthodes dites de Monte-Carlo consistent en des simulations expérimentales de problèmes

Plus en détail

Modélisation prédictive et incertitudes. P. Pernot. Laboratoire de Chimie Physique, CNRS/U-PSUD, Orsay

Modélisation prédictive et incertitudes. P. Pernot. Laboratoire de Chimie Physique, CNRS/U-PSUD, Orsay Modélisation prédictive et incertitudes P. Pernot Laboratoire de Chimie Physique, CNRS/U-PSUD, Orsay Plan 1 Incertitudes des modèles empiriques 2 Identification et caractérisation des paramètres incertains

Plus en détail

Exo7. Formes quadratiques. Exercices de Jean-Louis Rouget. Retrouver aussi cette fiche sur www.maths-france.fr

Exo7. Formes quadratiques. Exercices de Jean-Louis Rouget. Retrouver aussi cette fiche sur www.maths-france.fr Exo Formes quadratiques Exercices de Jean-Louis Rouget. Retrouver aussi cette fiche sur www.maths-france.fr * très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable

Plus en détail

CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures)

CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures) CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE Cinquième épreuve d admissibilité STATISTIQUE (durée : cinq heures) Une composition portant sur la statistique. SUJET Cette épreuve est composée d un

Plus en détail

Analyse en composantes principales

Analyse en composantes principales Analyse en composantes principales Alain Rakotomamonjy - Gilles Gasso. INSA Rouen -Département ASI Laboratoire LITIS Analyse en composantes principales p. 1/18 Introduction Objectifs Soit {x i } i=1,,l

Plus en détail

Première partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015

Première partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015 Énoncé Soit V un espace vectoriel réel. L espace vectoriel des endomorphismes de V est désigné par L(V ). Lorsque f L(V ) et k N, on désigne par f 0 = Id V, f k = f k f la composée de f avec lui même k

Plus en détail

Fonction polynôme du second degré : Forme canonique

Fonction polynôme du second degré : Forme canonique Fonction polynôme du second degré : Forme canonique I) Introduction. Soit g(x) = a(x - s)²+h. Toute fonction polynôme du second degré peut s écrire sous cette forme. Le passage de la forme développée à

Plus en détail

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013 Séminaire ES Andrés SÁNCHEZ PÉREZ October 8th, 03 Présentation du sujet Le problème de régression non-paramétrique se pose de la façon suivante : Supposons que l on dispose de n couples indépendantes de

Plus en détail

INTÉGRATION SUR LES SURFACES. Le but de ce texte est d expliquer comment définir et calculer des expressions du type

INTÉGRATION SUR LES SURFACES. Le but de ce texte est d expliquer comment définir et calculer des expressions du type INTÉGRATION SUR LES SURFACES Le but de ce texte est d expliquer comment définir et calculer des expressions du type φ(x)dσ(x) Σ où Σ est une surface de classe C 1 de R 3 ou plus généralement une hypersurface

Plus en détail

Cours MP. Espaces vectoriels normés

Cours MP. Espaces vectoriels normés Table des matières Espaces vectoriels normés B. Seddoug. Médiane Sup, Oujda I Norme et distance 1 I.1 Définitions..................... 1 I.2 Evn produit.................... 12 I.3 Notions topologiques

Plus en détail

Problèmes de Mathématiques Noyaux et images itérés

Problèmes de Mathématiques Noyaux et images itérés Énoncé Soit E un espace vectoriel sur IK (IK = IR ou lc). Soit f un endomorphisme de E. On pose f 0 = Id E, et pour tout entier k 1, f k = f f k 1. 1. Montrer que (Im f k ) k 0 et (Ker f k ) k 0 forment

Plus en détail

Limites finies en un point

Limites finies en un point 8 Limites finies en un point Pour ce chapitre, sauf précision contraire, I désigne une partie non vide de R et f une fonction définie sur I et à valeurs réelles ou complees. Là encore, les fonctions usuelles,

Plus en détail

Introduction à la programmation en variables entières Cours 3

Introduction à la programmation en variables entières Cours 3 Introduction à la programmation en variables entières Cours 3 F. Clautiaux francois.clautiaux@math.u-bordeaux1.fr Université Bordeaux 1 Bât A33 - Bur 272 Sommaire Notion d heuristique Les algorithmes gloutons

Plus en détail

est diagonale si tous ses coefficients en dehors de la diagonale sont nuls.

est diagonale si tous ses coefficients en dehors de la diagonale sont nuls. Diagonalisation des matrices http://www.math-info.univ-paris5.fr/~ycart/mc2/node2.html Sous-sections Matrices diagonales Valeurs propres et vecteurs propres Polynôme caractéristique Exemples Illustration

Plus en détail

Quantification Scalaire et Prédictive

Quantification Scalaire et Prédictive Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction

Plus en détail

Introduction générale

Introduction générale Chapitre 1 Introduction générale Ce chapitre est consacré à une présentation rapide des méthodes numériques qui sont étudiées en détail dans ce cours Nous y donnons une approche très simplifiée des quatre

Plus en détail

9. Distributions d échantillonnage

9. Distributions d échantillonnage 9. Distributions d échantillonnage MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v3) MTH2302D: distributions d échantillonnage 1/46 Plan 1. Échantillons aléatoires 2. Statistiques et distributions

Plus en détail

TD2 Fonctions mesurables Corrigé

TD2 Fonctions mesurables Corrigé Intégration et probabilités 2012-2013 TD2 Fonctions mesurables Corrigé 0 Exercice qui avait été préparé chez soi Exercice 1. Soit (Ω, F, µ) un espace mesuré tel que µ (Ω) = 1. Soient A, B P (Ω) deux sousensembles

Plus en détail

La problématique des tests. Cours V. 7 mars 2008. Comment quantifier la performance d un test? Hypothèses simples et composites

La problématique des tests. Cours V. 7 mars 2008. Comment quantifier la performance d un test? Hypothèses simples et composites La problématique des tests Cours V 7 mars 8 Test d hypothèses [Section 6.1] Soit un modèle statistique P θ ; θ Θ} et des hypothèses H : θ Θ H 1 : θ Θ 1 = Θ \ Θ Un test (pur) est une statistique à valeur

Plus en détail

Baccalauréat ES Centres étrangers 12 juin 2014 - Corrigé

Baccalauréat ES Centres étrangers 12 juin 2014 - Corrigé Baccalauréat ES Centres étrangers 1 juin 14 - Corrigé A. P. M. E. P. Exercice 1 5 points Commun à tous les candidats 1. On prend un candidat au hasard et on note : l évènement «le candidat a un dossier

Plus en détail

Filtrage stochastique non linéaire par la théorie de représentation des martingales

Filtrage stochastique non linéaire par la théorie de représentation des martingales Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de

Plus en détail

1 Sujets donnés en option scientifique

1 Sujets donnés en option scientifique Les sujets suivants, posés aux candidats des options scientifique, économique, technologique et littéraire BL constituent la première version d un échantillon des sujets proposés lors des épreuves orales

Plus en détail

6.11 Bases de Lanczos bi-orthogonales pour des matrices non symétriques

6.11 Bases de Lanczos bi-orthogonales pour des matrices non symétriques Chapitre 6 Méthodes de Krylov 611 Bases de Lanczos bi-orthogonales pour des matrices non symétriques Dans le cas où la matrice A n est pas symétrique, comment peut-on retrouver une matrice de corrélation

Plus en détail

EXERCICES SANS PRÉPARATION HEC 2005. Question 11 D après HEC 2005-11 F 2 EXERCICES SANS PRÉPARATION 2008. Question 7 HEC 2006-7 F 1 élève

EXERCICES SANS PRÉPARATION HEC 2005. Question 11 D après HEC 2005-11 F 2 EXERCICES SANS PRÉPARATION 2008. Question 7 HEC 2006-7 F 1 élève 30-1- 2013 J.F.C. p. 1 F 1 F 2 F 3 Assez simple ou proche du cours. Demande du travail. Délicat. EXERCICES SANS PRÉPARATION HEC 2005 Question 11 D après HEC 2005-11 F 2 X est une variable aléatoire de

Plus en détail

Fonctions de plusieurs variables

Fonctions de plusieurs variables Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme

Plus en détail

Continuité d une fonction de plusieurs variables

Continuité d une fonction de plusieurs variables Chapitre 2 Continuité d une fonction de plusieurs variables Maintenant qu on a défini la notion de limite pour des suites dans R n, la notion de continuité s étend sans problème à des fonctions de plusieurs

Plus en détail

Support du cours de Probabilités IUT d Orléans, Département d informatique

Support du cours de Probabilités IUT d Orléans, Département d informatique Support du cours de Probabilités IUT d Orléans, Département d informatique Pierre Andreoletti IUT d Orléans Laboratoire MAPMO (Bât. de Mathématiques UFR Sciences) - Bureau 126 email: pierre.andreoletti@univ-orleans.fr

Plus en détail

Cours 02 : Problème général de la programmation linéaire

Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =

Plus en détail

Le corps R des nombres réels

Le corps R des nombres réels Le corps R des nombres réels. Construction de R à l aide des suites de Cauchy de nombres rationnels On explique brièvement dans ce paragraphe comment construire le corps R des nombres réels à partir du

Plus en détail

Vision par ordinateur

Vision par ordinateur Vision par ordinateur Stéréoscopie par minimisation d'énergie Frédéric Devernay d'après le cours de Richard Szeliski Mise en correspondance stéréo Quels algorithmes possibles? mettre en correspondance

Plus en détail

Estimation consistante des paramètres d un. modèle non linéaire pour des données. fonctionnelles discrétisées aléatoirement

Estimation consistante des paramètres d un. modèle non linéaire pour des données. fonctionnelles discrétisées aléatoirement Estimation consistante des paramètres d un modèle non linéaire pour des données fonctionnelles discrétisées aléatoirement Consistent estimation of parameters in a nonlinear model for functional data with

Plus en détail

3. Caractéristiques et fonctions d une v.a.

3. Caractéristiques et fonctions d une v.a. 3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions

Plus en détail

StatEnAction 2009/10/30 11:26 page 111 #127 CHAPITRE 10. Machines à sous

StatEnAction 2009/10/30 11:26 page 111 #127 CHAPITRE 10. Machines à sous StatEnAction 2009/0/30 :26 page #27 CHAPITRE 0 Machines à sous Résumé. On étudie un problème lié aux jeux de hasard. Il concerne les machines à sous et est appelé problème de prédiction de bandits à deux

Plus en détail

Primitives Cours maths Terminale S

Primitives Cours maths Terminale S Primitives Cours maths Terminale S Dans ce module est introduite la notion de primitive d une fonction sur un intervalle. On définit cette notion puis on montre qu une fonction admet une infinité de primitives

Plus en détail

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois

Plus en détail

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA

Plus en détail

Notes de cours L1 MATH120. Hervé Le Dret

Notes de cours L1 MATH120. Hervé Le Dret Notes de cours L1 MATH120 Hervé Le Dret 18 octobre 2004 40 Chapitre 3 Vecteurs dans R m Dans ce chapitre, nous allons nous familiariser avec la notion de vecteur du point de vue algébrique. Nous reviendrons

Plus en détail

Simulations des Grecques : Malliavin vs Différences finies

Simulations des Grecques : Malliavin vs Différences finies 0.1. LES GRECQUES 1 Simulations des Grecques : iavin vs Différences finies Christophe Chorro Ce petit document vise à illustrer de manière numérique les techniques présentées lors du mini cours sur le

Plus en détail

Cours IFT6266, Apprentissage Non-Supervisé de Variétés

Cours IFT6266, Apprentissage Non-Supervisé de Variétés Cours IFT6266, Apprentissage Non-Supervisé de Variétés L Apprentissage Non-Supervisé L apprentissage non-supervisé vise à caractériser la distribution des données, et les relations entre les variables,

Plus en détail

Compléments sur les couples aléatoires

Compléments sur les couples aléatoires Licence Math et MASS, MATH54 : probabilités et statistiques Compléments sur les couples aléatoires 1 Couple image ans ce paragraphe, on va s intéresser à la loi d un vecteur aléatoire S, T qui s obtient

Plus en détail

Analyse de données longitudinales continues avec applications

Analyse de données longitudinales continues avec applications Université de Liège Département de Mathématique 29 Octobre 2002 Analyse de données longitudinales continues avec applications David MAGIS 1 Programme 1. Introduction 2. Exemples 3. Méthodes simples 4.

Plus en détail

Projet CLANU en 3GE: Compléments d algèbre linéaire numérique

Projet CLANU en 3GE: Compléments d algèbre linéaire numérique Projet CLANU en 3GE: Compléments d algèbre linéaire numérique Année 2008/2009 1 Décomposition QR On rappelle que la multiplication avec une matrice unitaire Q C n n (c est-à-dire Q 1 = Q = Q T ) ne change

Plus en détail

Master 1 Informatique Éléments de statistique inférentielle

Master 1 Informatique Éléments de statistique inférentielle Master 1 Informatique Éléments de statistique inférentielle Faicel Chamroukhi Maître de Conférences UTLN, LSIS UMR CNRS 7296 email: chamroukhi@univ-tln.fr web: chamroukhi.univ-tln.fr 2014/2015 Faicel Chamroukhi

Plus en détail

AGRÉGATION INTERNE: RÉDUCTION DES ENDOMORPHISMES

AGRÉGATION INTERNE: RÉDUCTION DES ENDOMORPHISMES AGRÉGATION INTERNE: RÉDUCTION DES ENDOMORPHISMES VINCENT GUEDJ 1. Notions fondamentales 1.1. Noyau, Image. On se donne E un K-espace vectoriel de dimension finie (K = R, C principalement) et f L(E) un

Plus en détail

ECOLE DES HAUTES ETUDES COMMERCIALES E.S.C.P.-E.A.P. ECOLE SUPERIEURE DE COMMERCE DE LYON MATHEMATIQUES I

ECOLE DES HAUTES ETUDES COMMERCIALES E.S.C.P.-E.A.P. ECOLE SUPERIEURE DE COMMERCE DE LYON MATHEMATIQUES I CHAMBRE DE COMMERCE ET D INDUSTRIE DE PARIS DIRECTION DE L ENSEIGNEMENT Direction des Admissions et concours ECOLE DES HAUTES ETUDES COMMERCIALES E.S.C.P.-E.A.P. ECOLE SUPERIEURE DE COMMERCE DE LYON CONCOURS

Plus en détail

Programmation linéaire

Programmation linéaire Programmation linéaire DIDIER MAQUIN Ecole Nationale Supérieure d Electricité et de Mécanique Institut National Polytechnique de Lorraine Mathématiques discrètes cours de 2ème année Programmation linéaire

Plus en détail

Différentiabilité ; Fonctions de plusieurs variables réelles

Différentiabilité ; Fonctions de plusieurs variables réelles Différentiabilité ; Fonctions de plusieurs variables réelles Denis Vekemans R n est muni de l une des trois normes usuelles. 1,. 2 ou.. x 1 = i i n Toutes les normes de R n sont équivalentes. x i ; x 2

Plus en détail

Dénombrement, opérations sur les ensembles.

Dénombrement, opérations sur les ensembles. Université Pierre et Marie Curie 2013-2014 Probabilités et statistiques - LM345 Feuille 1 (du 16 au 20 septembre 2013) Dénombrement, opérations sur les ensembles 1 Combien de façons y a-t-il de classer

Plus en détail