Chapitre XII. Chapitre XII : Distances et Normes

Transcription

1 Chapitre XII Chapitre XII : Distances et Normes

2 Introduction Nous n avons encore introduit aucune notion permettant de mesurer : 1 la distance entre deux vecteurs d un espace vectoriel, 2 la longueur (norme) d un vecteur d un espace vectoriel. Il se fait qu il est souvent utile de pouvoir mesurer de telles distances/longueurs dans certaines applications de l algèbre linéaire.

3 Introduction En fait, le fait de pouvoir définir une notion de distance sur un ensemble donné dépasse le cadre de l algèbre linéaire. Cela permet de déterminer si deux éléments de l ensemble sont "proches l un de l autre" ou non! Nous pouvons déjà mentionner une application de cette idée aux codes correcteurs d erreurs.

4 Application Soit A = {x 1,..., x m } un ensemble quelconque de m éléments (avec m N 0 ). Un mot de longueur n N 0 est une suite de n éléments de A y = y 1... y n qu on peut aussi voir comme un n-uple d éléments de A : y = (y 1,..., y n ). On dit parfois que A est l alphabet (dans lequel les lettres y 1,..., y n du mot sont choisies).

5 Application On définit alors la distance de Hamming entre deux mots de longueur n comme le nombre de lettres qui diffèrent entre les deux mots. Exemple 1 Soit A = Z 5 et (1, 1, 1, 0, 4), (2, 2, 1, 1, 4) deux mots de longueur 5 sur l alphabet A. Comme ces mots diffèrent selon leurs première, deuxième et quatrième lettres, leur distance de Hamming vaut 3.

6 Application La distance de Hamming est due à Richard Hamming ( ), c est un concept fondamental en théorie des codes correcteurs d erreurs (et en informatique plus généralement). Du point de vue de la théorie des codes correcteurs d erreurs, on essaye de construire des codes tels que la distance entre deux mots différents du code est toujours très grande.

7 Application Supposons par exemple qu on considère un ensemble de mots de (Z 5 ) 20 tels que la distance de Hamming entre deux mots différents est au moins de 10. Si, lors de la transmission du mot d un point à un autre on sait qu au plus 4 lettres du mots peuvent être modifiées suite à un erreur de transmission, on pourra non seulement détecter l erreur (vu que le mot erroné ne peut être un nouveau mot du code) mais aussi la corriger : il ne peut exister qu un seul mot du code qui soit à une distance 4 du mot erroné. En effet, s il y en avait deux, la distance de Hamming entre eux serait au plus de 8, ce qui n est pas possible.

8 Distances Donc, il est utile de pouvoir définir des distances sur les éléments d un ensemble donné X, et en particulier sur les vecteurs d un espace vectoriel. Pour définir une telle distance sur un ensemble X, on va donc considérer des fonctions d : X X R + : (x, y) d(x, y) envoyant deux éléments x, y X sur un nombre réel positif, qui représente la distance entre les éléments x et y.

9 Distances On s attend à ce qu une fonction de distance satisfasse certaines propriétés naturelles. Premièrement : (D 1 ) On a d(x, y) = 0 si et seulement si x = y. La distance entre x et y ne peut être nulle que si x = y.

10 Distances Ensuite : (D 2 ) On a d(x, y) = d(y, x) quels que soient x, y X. La distance entre x et y doit être la même que celle entre y et x.

11 Distances Finalement : (D 3 )[Inégalité triangulaire] On a d(x, y) d(x, z) + d(z, y) quels que soient x, y, z X. Intuitivement : il est plus rapide d aller immédiatement de x à y que de faire un détour par z. C est logique! z x y

12 Distances On dit qu une application d : X X R + satisfaisant les conditions (D 1 ) (D 3 ) est une distance, ou métrique sur X. Le couple (X, d) est appelé un espace métrique.

13 Distances Une métrique d sur X est donc un moyen de mesurer des distances entre les éléments de X. Bien sûr, il existe généralement beaucoup de telles applications d. Lorsqu on étudie un problème donné, on essaye d en choisir une qui ait des "propriétés intéressantes". Ces propriétés dépendent du problème. On a vu que dans le cas de la théorie des codes correcteurs d erreurs, la distance de Hamming était intéressante en ce sens qu elles permet de définir des codes qui détectent/corrigent des erreurs.

14 Espaces métriques Exemple 2 Soit A = {x 1,..., x m } un ensemble quelconque de m éléments (avec m N 0 ). Alors la distance de Hamming est une métrique sur l ensemble A n = {(y 1,..., y n ) y i A} des n-uples d éléments de A. Pour s en convaincre, il faut vérifier chacune des propriétés (D 1 ) (D 3 ), mais c est évident!

15 Espaces métriques Exemple 3 Sur R, l application d : R R R : (x, y) x y est la distance habituelle entre deux points de la droite réelle. On vérife à nouveau facilement qu elle satisfait les propriétés (D 1 ) (D 3 ). x y

16 Application : distance dans les réseaux Dans un réseau (modélisé sous la forme d un graphe connexe), il y a une façon naturelle de mesurer les distances : La distance d(u, v) entre le sommet u et le sommet v est la longueur du plus petit chemin reliant u à v (la longueur d un chemin est simplement son nombre d arêtes).

17 Application : distance dans les réseaux Par exemple, dans le graphe : on a d(1, 4) = 2 tandis que d(2, 3) = 1.

18 Application : distance dans les réseaux Il est facile de voir que la fonction d ainsi définie sur le graphe connexe satisfait bien les propriétés (D 1 ) (D 3 ). Ainsi, tout graphe connexe est aussi un espace métrique. On impose que le graphe est connexe car s il est en plusieurs morceaux, il existe bien sûr des sommets u et v non reliés entre eux (et on ne peut donc pas définir d(u, v)).

19 Application : distance dans les réseaux Question : Etant donné un graphe, est-il possible de mettre au point un algorithme pour calculer efficacement d(u, v)? Est-il possible de mettre au point un algorithme qui donne explicitement un plus court chemin entre u et v? Oui! Ces algorithmes seront étudiés en BA2/BA3 (cours d algorithmique 2 ou de recherche opérationnelle).

20 Normes Comment faire pour définir une distance sur un espace vectoriel donné? En plus de la distance, on aimerait avoir un moyen pour mesurer la norme (longueur) d un vecteur donné.

21 Normes Sur R n, on connaît déjà une notion de norme, c est la norme euclidienne habituelle : (x 1,..., x n ) = x1 2 + x x n. 2 Il est possible d étudier de telles normes de façon plus générale sur un espace vectoriel réel quelconque.

22 Normes Soit V un espace vectoriel réel et N : V R + une application. On dira que N est une norme sur V si : 1 N(v) = 0 si et seulement si v = 0 V, 2 N(λv) = λ N(v) pour tout λ R, v V 3 N(v + w) N(v) + N(w) pour tous v, w V.

23 Normes La première condition exprime que v a une norme nulle si et seulement si v est l élément neutre de l espace vectoriel. C est donc une condition tout à fait naturelle.

24 Normes La deuxième condition exprime simplement que multiplier le vecteur v par λ revient à multiplier sa norme par la valeur absolue de λ. Cette condition semble donc aussi naturelle. v λv

25 Normes La troisième condition ressemble à l inégalité triangulaire (dans les espaces métriques) et semble également naturelle lorsqu on la visualise sur un dessin : w v + w 0 v v

26 Normes Si N est une norme sur V, on dit que (V, N) est un espace vectoriel normé. Les espaces vectoriels normés sont fort utilisés dans les applications. Il s agit donc simplement des espaces vectoriels réels (sur le corps R) auxquels on a ajouté une fonction permettant de mesurer la taille des vecteurs.

27 Normes Exemple 4 Si V = R n alors on avait défini au premier quadrimestre la norme (x 1, x 2,..., x n ) d un vecteur comme (x 1, x 2,..., x n ) = x1 2 + x x n. 2 Cette norme est appelée norme euclidienne sur R n, on peut vérifier qu elle satisfait bien les propriétés générales d une norme.

28 Normes Donc, la norme euclidienne. sur R n est un exemple de norme. Mais ce n est pas la seule, il en existe d autres qui sont parfois utiles comme la norme maximum : N(x 1,..., x n ) = max{ x 1,..., x n }

29 Normes Remarque : plutôt que la lettre N, on rencontre parfois la notion. ou même. pour une norme quelconque sur l espace vectoriel V. Lorsqu on rencontre la notation. ou. dans un texte qui traite d algèbre linéaire, il faut donc faire attention aux conventions utilisées par l auteur!

30 Normes Si (V, N) est un espace vectoriel normé, alors l application d : V V R + : (v, w) N(v w) est une distance sur V. On prend donc la norme de la différence v w comme distance entre v et w. Les propriétés (D 1 ) et (D 2 ) sont immédiates. On vérifie facilement que la propriété (D 3 ) est aussi satisfaite.

31 Normes On dit que d(v, w) = N(v w) est la distance associée à la norme N. Par exemple, dans R 2 muni de la norme euclidienne., la distance associée est simplement la distance habituelle entre deux points de R 2 : d((x, y), (z, t)) = (x z) 2 + (y t) 2.

32 Normes Donc si on se donne une norme sur un espace vectoriel, on en déduit tout de suite une distance. C est bien pratique, et souvent utilisé dans les applications de l algèbre linéaire.

33 Applications Voici un exemple de problème qui apparaît parfois dans les applications de l algèbre linéaire : Exemple 5 Considérons un système linéaire de n équations à m inconnues avec n > m. On a donc plus d équations que d inconnues, et il se peut que le système n admette aucune solution. C est par exemple le cas du système : x + y = 0 x y = 0 3x + 2y = 1

34 Applications Exemple (Suite de l exemple précédent) Ecrivons le système sous forme matricielle Ax = b avec A Mat(n m, R), b R n, x R m (et n > m). Si le système n admet aucune solution exacte, on essaye de trouver une solution approchée x R n qui minimise la distance Ax b où. désigne la norme euclidienne sur R n. En fait, Ax b représente l erreur commise en prenant x comme solution approchée, et on veut logiquement minimiser la taille de cette erreur.

35 Applications Exemple (Suite de l exemple précédent) Une telle solution approchée est parfois appelée solution des moindres carrés car minimiser Ax b revient à minimiser la (racine carrée de la) somme des carrés des composantes du vecteur Ax b. Des méthodes pour déterminer ce genre de solutions ont été developpées (voir le cours de calcul formel et numérique de BA2).

36 Applications "Si l on considère un système qui règle un phénomène physique, les coefficients de la matrice sont donnés par des mesures (de la température, pression, etc.) et donc sont connues avec une précision limitée (...). Les résultats de mesures physiques qui déterminent la matrice A pourraient donner un système sans solution, alors que, peut-être, pour des raisons physiques, il pourrait être clair que le système admet des solutions. Il est donc important d avoir une valeur approchée des solutions, même dans les cas où le système apparaît comme sans solutions" Joseph Grifone, "Algèbre Linéaire", Editions Cépaduès, page 370.

37 Applications De façon plus générale, dans certains domaines appliqués (calcul numérique, imagerie, statistique, physique,... ) on rencontre parfois des problèmes posés sous cette forme : On a une application linéaire f : V W (avec V et W des espaces vectoriels normés) et on cherche à résoudre l équation f (x) = b. Malheureusement, si b n est pas dans l image de f, une telle équation n a pas de solution!

38 Applications Si l équation f (x) = b ne possède pas de solution x V, on cherche alors à trouver une solution approchée x qui minimise la distance f (x) b ou. désigne la norme sur l espace vectoriel W.

39 Normes Exemple 6 Pour certains problèmes liés au calcul numérique, il est parfois utile de travailler avec des normes particulières sur les espaces Mat(n m, R) de matrices à coefficients réels. Voyez le cours de calcul formel et numérique de BA2. Pour résoudre certains problème issus de la physique, on rencontre aussi des normes sur les espaces de fonctions comme R R, C(R) (l ensemble des fonctions continues de R dans R), etc.

40 Normes Exemple On peut par exemple montrer que si C([a, b], R) est l espace vectoriel des fonctions continues de [a, b] vers R alors l application N : C([a, b], R) R : f b a f (x) dx est une norme sur C([a, b], R). Celle ci est souvent utilisée dans le cadre de problèmes issus de la physique.

41 Résumé des points importants du chapitre 1 La définition d un espace métrique (X, d), 2 La définition d un espace vectoriel normé, 3 Si N est une norme sur l espace vectoriel V, on peut lui associer une métrique d en posant d(u, v) = N(u v).