Les points de vue. Axiomess de Kolgomorov. Def espace probabilisé (Ω,E,P)

Transcription

1 Cours 1 Probabilité : C est l étude mathématique de l incertain. La notion de probabilité a été introduite au 17 ème siècle à cause des jeux de hasard, puis a été développée en 1948 par Shannon. Les communications sont entachées d incertitudes. En lisant l information on lève l incertitude. Proba= à priori Info= à postéori Les probabilités sont essentielles dans la théorie de l information. Le problème de probabilités le plus célèbre est celui du «chevalier de Méré» ; il a été résolu par Pascal. En 1933 Andrei Kolmogorov a introduit la théorie des probabilités (Axiome). C est le cœur de la probabilité (expérience aléatoire). L expérience aléatoire est non répétable. Evènement : c est le résultat possible d une expérience. Probabilité d un évènement : mesure de la vraisemblance de l évènement. C est un nombre appartenant à l intervalle [0,1 ]. 0=> l évènement est impossible. 1=> possible mais incertain. Les points de vue - Classique : P=(nombre de cas favorable)/( nombre de cas possibles) Ce point de vue n est pas satisfaisant. - Point de vue orthodoxe : Limite de la fréquence. Il souffre des memes insuffisances que le point vue classique parce que les expérience sont non répétables. - Subjectivité : à partir de l état de connaissance d un observateur sur un évènement donné. Ex : Afrique du sud Vs France en rugby, l AFS part favori. Axiomess de Kolgomorov Def espace probabilisé (Ω,E,P)

2 Ω ensemble fondamental. ensemble des parties de Ω. P fonction de probabilité P : E [0,1]. E sigma- algèbre. S1 : Ω E S2 : Ω est stable par complément Si A E alors a bar A E. S3 : E est stable par réunion dénombrable. Si A E alors A bar E. Si (Ai) i I est une famille dénombrable d éléments de E alors U Ai E P satisfait P1 P(Ω) = 1 P2 si (Ai) i est une famille dénombrable d éléments de E. deux à deux disjoints Alors P(U Ai)= Ai Cas ou Ω est finie. E= P(Ω) p est défini par ses valeurs sur le singleton. Ω=(W i,.. W n ) ; p(ω i )=1 Notions à revoir :Distribution des probabilités ; formule d inclusionexclusion ; formule pointcaré ; Variables aléatoires ; formule de Bayes ; Loi conditionnelle d une Variable aléatoire ; Loi conjointe de 2 variables aléatoires ; espérance ; distributions conjointes ; variable de Bernouilli ; disjonction des cas.

3 Cours 2 Information et Entropie Rappel : La probabilité est une quantité comprise entre 0 et 1 qui quantifie un évènement (étude mathématique de l incertain) avant qu il se produise. Information 1 er Principe : quantifie la connaissance apportée par un évènement produit. Pour un évènement peu probable on a beaucoup d informations. Pour un évènement très probable on a peu d informations. L information est aussi la fonction décroissante de la probabilité. 2 ème Principe : Additivité L information i(a) d un évènement est une fonction qui transforme les produits en somme (fonction logarithme). i(a)=-log(p(a)). Par convention on utilise -log 2 (P(A)). - Si A est un évènement certain P(A)=1 => i(a)=0. - Si P(A)=0 => i(a)=+ L unité d information est le bit (binary digit). NB : bit!=symbole binaire. Le choix de la base 2 est arbitraire. Exemple : Ω ={pile,face} ( ¼, ¾) i({pile}) = -log 2 ( ½ ) = log 2 (2) i({pile}) = 1 Rappel : log 2 (x)= ln(x)/ln(2)

4 Entropie L entropie représente l information révélée par une expérience. Elle a été développée par SHANNON qui y a travaillé pendant une vingtaine d années (1948). Elle est adaptée à la communication et à la transmission de données. Comme définition l entropie de SHANNON est la distribution de probabilités P=(pi..pn) est la moyenne de la fonction information apportée par la réalisation de chacune des opérations individuelles. n Elle se note H(p)=- i=1 Pi log 2 (Pi) L entropie correspond aussi à la quantification du nombre de questions avec réponse oui/non pour obtenir une information donnée. Exemple : Deviner un nombre entre 1 et 100. Chaque nombre étant équi-probable. pour chaque nombre(loi de probabilité). P=1/100 (de 1 à 100) de (1/100)log2(1/100)=- L entropie de cette expérience H(x) =- log2(1/100)= log2(100)=6.64 Pour coder un nombre entier compris entre 1 et 100 il faut au moins 7 symboles binaires. Si la loi est uniforme (1/i..1/n) H(p)=log 2 (n) Fonction d entropie binaire Variable de bernouilli de paramètre p H(p)= -p log2(p) (1-p)log2(1-p) H(1/2)=1 H(1/4)=0.811

5 H(0)=0 H(1)=0 Dérivée H (p)=uv+vu H (p)= -log2(p)-p Log 2 (x)=1/xln(2) H (p)= -log 2 (p) + log 2 (1-p) Si p est plus petit que ½ on a 0<p<1/2 P<1-p Log 2 (p)<log(1-p) H (p)>0 Si ½ <p<1 p>1-p h (p) <0. L incertitude est maximale lorsque l expérience est incertaine et vice versa.