Analyse de données et méthodes numériques

Transcription

1 Analyse de données et méthodes numériques Analyse de données: Que faire avec un résultat? Comment le décrire? Comment l analyser? Quels sont les «modèles» mathématiques associés?

2 Analyse de données et méthodes numériques Méthodes numériques: Calcul numérique d une intégrale Équations différentielles Ajustement de données à un modèle/loi: méthode des moindres carrées, fit

3 Chap 1: les outils statistiques pour l analyse de données

4 Pourquoi une description statistique des données? Mesures physiques -> différentes mesures pour une valeur «vraie»!!! Quel résultat donné? Valeur de référence + précision (plutôt précision qu erreur) X 0 ± X 0

5 Approche statistique des erreurs : M = ± 0.03 g m = 3.82 ± 0.05 g r = (3.08 ± 0.02) 10-5 m F =? ±? F = g Mm r 2 Pile ou Face 100 tirages 55 P, 45 F Probabilité, biais de tirages? Désintégration radioactive 72 cps/s, 85 cps/s, durée de vie?

6 Types de données: Données mesures information significative représentation des données graphes, histogrammes statistique descriptive 2 types de données : - non numériques : qualitatives - numériques : quantitatives nombres - données discrètes : entiers - données continues : réels arrondis! Ex : voitures sur une route : Couleur : qualitative, nombre de sièges : discrète, longueur : continue

7 Présentation des données: Histogrammes bi multidimensionnels graphes barres d'erreur statistique descriptive Choix du bining:

8 1/ Décrire les données: Soit une distribution de N éléments { x,x,..x } 1 2 N 1. Paramètres caractéristiques des valeurs centrales 2. Paramètres caractéristiques de dispersion 3. Paramètres de forme 4. Paramètres de concentration

9 Paramètres caractéristiques des valeurs centrales (1) Moyenne arithmétique: x = x = 1 N N x i i =1 Si la distribution est une fonction: f x ( ) : f = 1 N N i =1 f (x i ) Si on a un histogramme: x j -> canal j ->n j (Perte de précision) x = 1 N n j x j N j =1

10 Paramètres caractéristiques des valeurs centrales (2) Propriétés de la moyenne arithmétique: La somme pondérés des écarts à la moyenne est nulle La moyenne de N ( x i x ) = 0 i =1 vaut La moyenne n est pas toujours significative, elle est sensible aux valeurs extrêmes (notamment élevées) de la distribution, et aux valeurs aberrantes y = kx y = kx

11 Paramètres caractéristiques des valeurs centrales (3) Médiane: Point milieu des probabilités : autant en dessous qu'au dessus xmed p( x)dx = p( x)dx = xmed Si N impair : xmed = x N+1 / 2 Si N pair : xmed = [x N/2 + x N/2 +1 ] / 2 La médiane est moins sensible aux valeurs extrêmes et aberrantes

12 Paramètres caractéristiques des valeurs centrales (4) Le mode: Le mode est la valeur du paramètre dont la fréquence est la plus élevé. Si on a plusieurs pics de fréquences on parle de distribution multimodale. Il y a une relation entre moyenne-médiane-mode : Pour les distributions unimodales modérément asymétriques alors: (moyenne-mode) ~3 (moyenne-médiane) Pour une courbe symétrique : moyenne = médiane = mode

13

14 Paramètres caractéristiques des valeurs centrales (5) Les Fractiles: Les fractiles sont des caractères de position d une distribution. ex: les quartiles (Q 1, Q 2, Q 3 ) partagent la distribution des observations en 4 intervalles d effectifs égaux (le premier= 25% des effectifs), la médiane est donc Q 2. On a aussi les déciles (par tranche de 10%) et les centiles (tous les 1%)

15 Paramètres caractéristiques des valeurs centrales (6) Autres moyennes moyenne géométrique N x 1 x 2...x N moyenne harmonique 1 N x RMS (Root 1 x 2 x N mean Square):. x x x N 2 N

16 Paramètres caractéristiques de dispersion (1) La variance: C est la moyenne des carrées des écarts à la moyenne: V (x) = σ x 2 = 1 N V (x) = 1 N N 2 x i i=1 N ( x i x ) 2 = 1 N i=1 N i=1 x 2 = x 2 x 2 x i N N i=1 x N N x i=1 x i En pratique, la variance n est pas comparable à la moyenne car pas la même unité (carré), on lui préfère donc l écart type

17 Paramètres caractéristiques de dispersion (2) L écart type: σ x = V(x) = autre définition possible (non biaisé): σ x = L écart type possède la propriété: et σ y = k σ x 1 1 N N 1 N ( x i x ) 2 = x 2 x 2 N i =1 i =1 y = kx σ y 2 = k 2 σ x 2 ( x i x ) 2

18 Coefficient de variation Le Coefficient de variation (CV) est obtenu en divisant l écart type par la moyenne arithmétique. On peut l exprimer en pourcentage en le multipliant par 100. Il est indépendant de l unité de mesure de la caractéristique observée. Si la moyenne est négative, on prendra la valeur absolue de CV. Plus CV est faible, plus les données sont homogènes (concentrées autour de la moyenne), on peut donc considérer que la moyenne est bien représentative de l ensemble des données.

19 Paramètres caractéristiques de dispersion (3) Exemple: soit µ la valeur moyenne d un échantillon, et σ son écart type. Alors m est il une estimation correcte de µ. Pâquet de sucre de 1kg, σ=10g, tolérance de fabrication de ±2σ Échantillon de 985g -> ok Échantillon de 978g ->problème de production

20 Paramètres caractéristiques de dispersion (4) Etendue: C est l écart entre la plus élevée (le maximum) et la plus faible (le minimum) des valeurs observées. Ecart interquartile: C est l écart entre les 3eme et 1er quartiles, cela mesure la dispersion de la valeur centrale. La comparaison entre l écart interquartile et l étendue donne une idée de la dispersion des extrêmes. On l utilise souvent sous forme réduite c est à dire divisé par la valeur de la médiane afin d obtenir un indice sans dimension.

21 Paramètres caractéristiques de dispersion (5) Largeur à mi-hauteur (FWHM):

22 Paramètres caractéristiques de dispersion (6) Ecart moyen arithmétique: Moyenne arithmétique des écarts (en valeur absolue) entre les valeurs observées et la moyenne arithmétique. On l appelle aussi la déviation absolue moyenne e m = 1 N N i =1 x i x

23 Paramètres de forme (1) Caractérise la forme d une distribution Moment statistique d ordre p d une série statistique Le moment d ordre 2 est la variance! L asymétrie (skew) : c est le premier coefficient de Fisher (δ): µ p = 1 N Si les données sont symétriques δ=0 Si étalement à gauche (faible valeur) δ<0, étalement à droite δ>0 Rem : δ (moyenne - mode ) / σ (Pearson) N i =1 ( x i x ) p δ = µ 3 σ = µ 3 3 (µ 2 ) 3 2 x

24 Paramètres de forme (2) aplatissement: c est le second coefficient de Fisher (a): a = µ 4 σ 4 = µ 4 (µ 2 ) 2 La valeur a=3 correspond à une morphologie de distribution gaussienne. Si c est plus aplatie que la distribution gaussienne alors a est significativement inférieur à 3 Si c est plus pointue qu une distribution gaussienne alors a est significativement supérieur à 3 Si étalement à gauche (faible valeur) δ<0, étalement à droite δ>0 On utilise plutot l aplatissement ou curtosis c: c = a 3 = µ 4 σ 4 3

25 Paramètres de forme (3) x

26 Décrire les données: Soit une distribution de N éléments à deux variables (x 1,y 1 ),(x 2,y 2 ),..(x N,y N ) { } 1. La covariance 2. Le coefficient de corrélation

27 La covariance La covariance est le paramètre le plus utilisé pour déterminer la dépendance entre plusieurs variables: Cov( x,y) = 1 N N ( x i x )( y i y ) = xy x.y i =1 Si x et y évoluent dans le même sens, la covariance est positive Si x et y évoluent dans des sens différents, la covariance est négative S il n y a pas de corrélation, la covariance sera nulle

28 Le coefficient de corrélation(1) Le coefficient de corrélation est non dimensionné, il se définit comme: Il est compris entre -1 et 1 ρ 0 pas de corrélation ρ 1 si ρ -1 si x > x y > y x > x y < y Si on a plus de deux variables, même principe:matrice de covarience et matrice de corrélation ρ = Cov x,y ( ) σ x.σ y = xy x.y σ x.σ y

29 Ex : - poids - taille Cov > 0 - poids - endurance : Cov < 0 - poids - QI : Cov 0 Rem : Covariance dimensionnée coef de corrélation non dimensionné poids. taille kg. Cm Extension à + de 2 variables : matrice de covariance, matrice de corrélation

30 Chap 2: les distributions théoriques

31 Pourquoi modéliser les distributions? La modélisation de la distribution permet: Représenter des données même si on a «peu» de mesures (faible statistique) représenter la distribution à l aide d un nombre réduit de paramètres Fournir une explication physique aux fluctuations constatées Ici, phénomènes statiques indépendants du temps (sinon traitement du signal)

32 les distributions théoriques 1. Variable aléatoire a) Définition b) Fonction de répartition c) Densité de probabilité d) Espérance mathématique e) Variance écart-type 2. Distributions classiques: a) Loi uniforme b) Loi exponentielle c) Loi normale d) Loi binomiale e) Loi de poisson f) Variable statistique et variable aléatoire

33 Variable aléatoire (1) Définition: Une variable aléatoire est une variable qui peut prendre différentes valeurs à la suite d un processus lié au hasard. Elle est entièrement caractérisée si on connaît les probabilités affectées à chacune des valeurs possibles. Ex: desintégration d un échantillon radioactif: variable aléatoire= nombre entier entre 0 et l infini de probabilité connues (loi de poisson) correspondant au temps de désintégration

34 Variable aléatoire (2) Fonction de répartition: F(x) C est la probabilité de l événement aléatoire X x, X étant une variable aléatoire continue F( x) = P ("X x" ) La fonction de répartition est une fonction positive croissante jusqu à 1 (de 0 à 100%)

35 Variable aléatoire (3) Densité de propabilité: f(x) C est la dérivé de F(x): f x et ( ) = df( x) dx F x x ( ) = f t ( )dt La densité de probabilité est la probabilité que la variable aléatoire X prenne une valeur dans l intervalle x,x + dx [ [ P ("x X < x + dx" ) = f ( x)dx

36 Variable aléatoire (4) Experance mathématique: E(X) C est la moyenne des valeurs que peut prendre la variable X, chacune des valeurs étant pondérée par sa probabilité E X ( ) = xf x ( )dx La moyenne d un grand nombre d observations de X permet d estimer E(X). L espérance est un indicateur de tendance centrale de la variable. L espérance d une distribution est l équivalent du terme de «moyenne» pour des données +

37 Variable aléatoire (5) Variance et écart-type: ( ) = E X E( X) V X [( ) 2 ] + = ( x E( X) ) 2 f x ( )dx La racine carré de la variance est l écart type. La variance caractérise la dispersion de la variable autour de l espérance. L écart type est une grandeur de même nature physique que X et s exprime donc dans les mêmes unités

38 Loi de distributions classiques (1) La loi Uniforme: ex: dé: même proba de tomber sur une face (a=0, b=6) La densité de probabilité est définit comme: f ( x) = 0 1 b a ( ) 0 si x < a a x b x > b On a alors: E( X) = ( a + b) 2 V( X) = ( b a) 2 12 Densité de probabilité fonction de répartition

39 Loi de distributions classiques (2) La loi exponentielle: Dépend d un unique paramètre λ La densité de probabilité et la fonction de répartition sont définies comme (x>0): f x ( ) = P(x;λ) = λ.exp λx ( ) On a alors: F x ( ) = 1 exp λx ( ) La loi exponentielle est assez bien adaptée pour représenter la durée de vie des composants électroniques -> theorie de fiabilités,maintenance des systèmes inductriels E x ( ) = 1 λ V( x) = 1 λ 2

40 Loi de distributions classiques (3) Densité de probabilité fonction de répartition

41 Un domaine privilégié de la loi exponentielle est le domaine de la radioactivité (Rutherford et Soddy). Chaque atome radioactif possède une durée de vie qui suit une loi exponentielle. Le paramètre λ s'appelle alors la constante de désintégration. La durée de vie moyenne 1/ λ s'appelle le temps caractéristique. La médiane ln(2)/ λ correspond au temps T nécessaire pour que la population passe à 50% de sa population initiale et s'appelle la demi-vie ou période. La loi exponentielle est une loi assez bien adaptée pour représenter la durée de vie des composants électroniques. Elle est très utilisée en théorie de la fiabilité et application à la maintenance des systèmes industriels.

42 Loi de distributions classiques (4) La loi normale (gaussienne): Dépend de deux paramètres µ et σ. La densité de probabilité est définie comme f ( x) = 1 σ 2π exp x µ ( ) 2 2σ 2 Le paramètre µ est l espérance mathématique et σ est l écart-type, la variance s écrivant : V(x)= σ 2 La loi normale centrée réduite (ou loi de Laplace-Gauss) correspond à µ =0 et σ =1

43 Loi de distributions classiques (5) Densité de probabilité fonction de répartition

44 Loi de distributions classiques (6) La fonction de répartition de la loi normale n a pas de forme analytique, elle se calcule numériquement et existe sous forme de tableau x = µ ±σ 68.3% x = µ ± 2σ 95.4% x = µ ± 3σ 99.7% 90% ±1.645σ 99% ±2.576σ

45 Loi de distributions classiques (12) La loi Binomiale: Que deux résultats possibles (vrai ou faux, face ou pile ) avec une probabilité de succès p et une probabilité d échec q=1-p. Si on a n essais, la probabilité de r succès est: 2 n permutations succès/echecs Sélection de r parmi n C r n = n! r! ( n r)! R succès de probabilité p et (n-r) échecs de probabilité (1-p) D où la densité de probabilité suivante: f (r; p,n) = p r ( 1 p) n r n! r! ( n r)! = p n! r q n r r! ( n r)!

46 Loi de distributions classiques (13) La loi Binomiale: L espérance mathématique est donc: E( r)=np La variance et l écart type: V( r) = np( 1 p) = npq σ = npq Lorsque n inf et que p 0 avec np = a, la loi binomiale converge vers une loi de Poisson de paramètre a. En pratique, on remplace la loi binomiale par une loi de Poisson dès que n > 30 et np < 5 ou dès que n > 50 et p < 0.1. Lorsque n inf et que p q 0.5, la loi binomiale converge vers une loi normale d'espérance np et de variance npq. En pratique, on remplace une loi binomiale par une loi normale dès que n > 30, np > 5 et nq > 5

47 Densité de probabilité fonction de répartition

48 Loi de distributions classiques (16) La distribution de Poisson: La distribution de poisson correspond au comportement attendu pour les évènements rares et un nombre d essai non défini. Elle correspond à l évolution de la distribution binomiale si n augmente et p diminue. La densité de probabilité d avoir r événement pour une moyenne espérée de λ est définie par: Moyenne λ, variance V( r)= λ et écart-type P( r;λ) = e λ.λ r r! σ = λ

49 Loi de distributions classiques (17) La distribution de Poisson: Nombre d essais non défini, évènements rares Exemple : - pic étroit sur un continuum events rares - éclairs pendant un orage - Désintégration/Création de particules rares Pour λ<1, mode=0 La moyenne = λ différente du mode λ -1 La distribution de Poisson est plus large que la distribution binomiale La distribution de poisson présente une queue à droite

50 Loi de distributions classiques (18)

51 Variable statistique/aléatoire Une variable statistique est constituée par une série d observations d une même grandeur. Une variable aléatoire est un concept mathématique, issu de la théorie des probabilités. C est un moyen commode de représenter, de modéliser la réalité dans un certain nombre de situations, par exemple une variable statistique. Variable statistique Fréquences Moyenne Médiane Variance empirique Ecart-type empirique Histogramme de fréquences Courbe de fréquences cumulées Variable aléatoire Probabilités Espérance mathématique Médiane Variance Ecart-type Densité de probabilité Fonction de répartition