Modélisation Modélisation Département de Mathématiques Université de Fribourg 7 Mai 2010 1 / 33
Plan de la présentation Modélisation 1 2 3 4 2 / 33
Plan de la présentation Modélisation 1 2 3 4 2 / 33
Plan de la présentation Modélisation 1 2 3 4 2 / 33
Plan de la présentation Modélisation 1 2 3 4 2 / 33
Rappel Modélisation Définition Un processus stochastique (X t) t I est une une chaîne de Markov ou (Markovien) si t 1< t 2<...<t n, t i I i 1,...,i n E (M) Définition P(X tn = i n X tn 1 = i n 1,...,X t1 = i 1) = P(X tn = i n X tn 1 = i n 1) Soit (X t) t I une chaîne de Markov. Les expressions p i,j(s, t) = P(X t = j X s = i), 0 s<t, i, j E sont les probabilités de transition de la chaîne. Sous forme matricielle nous avons qu on appel matrice de transition. P(s, t) =. p i,j(s, t). 3 / 33
Répartitions finies propriété de semi-groupe Modélisation Répartitions finies : P(X tn = in,..., X t1 = i 1 ) (M) = P(X tn = in X tn 1 = i n 1,...,X t1 = i 1 )P(X tn 1 = i n 1,..., X t1 = i 1 ) En écrivant P(X t1 = i 1 ) Proba.totale = = P(X tn = in X tn 1 = i n 1 )P(X tn 1 = i n 1,..., X t1 = i 1 ) =... = P(X t1 = i 1 )p i1,i 2 (t 1, t 2 )...p in 1,in (t n 1, tn) P(X 0 = i)p(x t1 = i 1 X 0 = i) = P(X 0 = i)p i,i1 (0, t 1 ) i E en définissantπ i (0) := P(X 0 = i) (qu on appel loi initiale processus) on obtient P(X tn = i n,...,x t1 = i 1 ) = π i (0)p i,i1 (0, t 1 )p i1,i 2 (t 1, t 2 )...p in 1,i n (t n 1, t n). i E i E 4 / 33
Répartitions finies propriété de semi-groupe Modélisation On considére chaînes de Markov dîtes homogènes (ou stationnaires), i.e : P(X t = j X s = i) = P(X t s = j X 0 = i). Pour une chaîne de Markov donnée, l équation de Chapman-Kolmogorov p i,j (s, t) = p i,k (s, u)p k,j (u, t), s< u< t, k E perm de montrer que (dans le cas homogène) P(s + t) = P(s)P(t). En connaissant notre loi initiale de la chaîne ainsi que notre matrice de transition, nous pouvons déterminer la probabilité de se trouver dans un état après un temps t par π(t) = P t π(0), P := P(1) 5 / 33
Loi stationnaire Modélisation Définition Soit (X t ) t I une chaîne de Markov de matrice de transition P πune mesure de probabilité sur E. On dit queπest stationnaire sir πp =π 6 / 33
Graphes connexes Modélisation Définition Un graphe G = (E, V ) est un ensemble où E est l ensemble somms V l ensemble arrêtes. On dit que le graphe est orienté si les arrêtes sont dirigées. Définition On dit que le graphe est connexe quand tous ses somms sont interconnectés. Un graphe peut avoir plusieurs composantes connexes. 7 / 33
Lien entre chaînes de Markov Modélisation On considère l ensemble E (appelé ensemble états) d une CM fini. On représente la chaîne sous forme graphique. Les somms représentent les états de la chaîne les arrêtes représentent les probabilités de transition. Exemple Si nous avons E ={a, b}, que la probabilité de passer de a à b (ou de b à a) est 1 2 1 la probabilité de rester en a ou b est aussi, la matrice de transition sera 2 ( 1 ) 1 2 2 P = 1 1 2 2 le graphe associé 1/2 1/2 B 1/2 A 1/2 8 / 33
Lien entre chaînes de Markov Modélisation Définition On dit qu une châine est irréctible si son graphe associé ne possède qu une composante connexe. Définition On dit que T i est le temps de premier passage dans l état i si T i = inf{n 1; X n = i}. Le temps moyen de premier rour en i (si on est partit de l état i) est défini comme E i (T i ). On dira qu une chaîne est positivement récurrente si pour tous les états i on a la propriété suivante E i (T i )<. Theorem Une chaîne de Markov irréctible est positivement récurrente si seulement si elle possède une unique loi stationnaire 9 / 33
Lien entre chaînes de Markov Modélisation CM avec unique loi stationnaire le graphe de la CM ne possède qu une composante connexe 10 / 33
Modélisation 11 / 33
Présentation modèle Algorithme de rencontres Modélisation Présentation Modèle permtant de déterminer le "taux de bonheur" ou le taux de satisfaction de la population suisse. Nous utilisons les statistiques de l OFSS sur la population : Algorithme de rencontres Âge % Population 0-19 ans 21.2 20-39 ans 26.8 40-64 ans 35.4 65 ans + 16.6 1 Déterminer une catégorie d âge prendre un rendez-vous. 2 Après le rendez-vous (RDV), deux issues possibles : Bon RDV ou Mauvais RDV. 3 Si c est un Mauvais RDV, rour en point 1. Si c est un bon RDV, le schéma passe en point 4. 4 Dans une relation, il y a hauts bas, donc on peut passer de Bon à Mauvais continuer longtemps ou alors rourner au point 1. 12 / 33
Graphe associé Modélisation Graphe de transition associé à la chaîne de Markov donnée par l algorithme de rencontres 2/3 2/3 Bon 1/3 Mauvais DEPART Mauvais 2/6 1/3 1/2 1/2 1/2 1/2 4/6 4/6 0-19 20-39 0.212 0.268 0.354 0.166 2/6 Bon Bon 40-64 4/6 4/6 65 + 1/2 1/2 1/2 1/2 1/3 2/6 Mauvais Mauvais Bon 2/6 1/3 2/3 2/3 13 / 33
Propriétés modèle Modélisation Connexité irréctibilité En appliquant un algorithme de vérification, nous voyons que notre graphique représentant notre chaîne possède une unique composante connexe. Ceci nous informe de l irréctibilité de la chaîne que nous avons créée. Récurrence positive, Loi stationnaire L ensemble états ne posséde pas d état absorbant est fin. La chaîne est positivement récurrente. Nous pouvons donc dire que notre modèle possède une unique loi stationnaire. Il s agit maintenant de déterminer cte loi. 14 / 33
Résultats numériques Modélisation Détermination de la loi stationnaire en utilisant MATLAB. Modèle avec 13 états matrice de transition P [0, 1] 13 13. Après une vingtaine d itérations de la matrice, celle-ci reste inchangée : 1 5 10 13 1 1 5 10 13 1 5 10 13 1 5 10 13 1 5 10 13 1, 1 5 10 13 1 5 10 13 1 5 10 13 1 1 5 10 13 1 5 10 13, 1 5 10 5 5,, 10 10 5 10, 13 13 1 5 10 13 1 5 10 13 1 1 13 13 1 5 10 13 1 5 10 13 1 1 1 1 5 10 13 1 5 5 5 5 5 5,,,, 10 10 10 10 10 10 13 1 5 10 13 13 13 13 13 13 1 5 10 13 1 5 10 13 15 / 33
Résultats numériques Modélisation On considère qu une personne est heureuse lorsqu elle est en couple. Il y a 4 catégories d âges permtant d être en couple. On obtient les probabilités suivantes : Âge % Bonheur 0-19 ans 11.0584 20-39 ans 11.9799 40-64 ans 22.7869 65 ans + 24.6859 En sommant les probabilités nous obtenons le pourcentage de chance de bonheur pour un Suisse. Cte somme correspond à 70.511%. L OFSS a enregistré en 2006 un taux de 71.31%... Tout ceci laisse songeur! 16 / 33
Modélisation 17 / 33
Présentation problème Modélisation But La mémoire spatiale est un élément important de la mémoire épisodique. Elle perm la mémorisation d éléments dans un temps défini. Sans elle, certaines personnes peuvent se rrouver très handicapées avoir problèmes à gérer leur vie au quotidien. Le but de ce modèle est de "quantifier" cte mémoire chez chacun à l aide d une chaîne de Markov. Pour se faire, le modèle est basé sur le jeu. Le Jeu Ce jeu consiste à disposer N paires de cartes devant soit, face contre terre puis de les mélanger. Une fois ceci fait, le joueur tire deux cartes consécutives, si celles-ci sont identiques il les rires jeu sinon il les rems en place recommence avec d autres cartes. Le but étant de sortir toutes les cartes jeu en un minimum de coups. 18 / 33
Données de base données recherchées Modélisation Pour commencer, nous devons connaître certaines informations de bases : Le nombre N de paires de cartes dans le jeu. La nombre L de cartes que le joueur peut mémoriser. Une fois ces informations recueillies, nous pouvons créer un modèle markovien donnant la probabilité de finir le jeu en k étapes sachant que le joueur a une mémoire L. Nous définissons donc chaque état de la chaîne par : avec k : le nombre d essais au total. X N,L k n : le nombre de paires restantes. l : le nombre de cartes mémorisées. = (n, l, ) = d : les cartes mémorisées sont distinctes. = p : il y a une paire parmi les cartes mémorisées. De cte manière, à chaque pas (i.e chaque paire rournée) le joueur change son état dans la chaîne. 19 / 33
Stratégie joueur Modélisation Le joueur peut opter pour plusieurs stratégies dans le jeu. En eff, tout dépend cartes qu il a en mémoire. On peut schématiser le comportement de la manière suivante : Le joueur a cartes distinctes en mémoire 1 Il peut obtenir une paire par mémorisation. 2 Il peut obtenir une paire par hasard. 3 Il peut mémoriser une paire. 4 Il peut mémoriser cartes distinctes. Le joueur a une paire en mémoire 1 Il obtient une paire. 20 / 33
Stratégie joueur Modélisation Exemple Si on considère que le joueur a 2 cartes distinctes en mémoire qu il reste 8 paires, il se trouve dans l état (8, 2, d). Les états suivants possibles, sont : 1 Aller à l état (7, 1, d) avec probabilité 2 14. 2 Aller à l état (7, 2, d) avec probabilité 12 1 14 13. 3 Aller à l état (8, 4, p) avec probabilité 12 2 14 13. 4 Aller à l état (8, 4, d) avec probabilité 12 10 14 13. 21 / 33
Stratégie joueur Modélisation On explique les cas 1 à 4 en utilisant les principes de combinatoire. Dans le premier cas, le joueur a 2 cartes distinctes en mémoire. Pour former une paire il faut trouver au moins une deux autres cartes dans le jeu. Sachant qu il y a 8 paires au total (i.e 16 cartes) qu il connait déjà 2 cartes il ne reste plus que 14 cartes inconnues dans le jeu. Il y a 2 cartes inconnues dans le jeu, favorables à la formation d une paire. Ainsi, la probabilité de former une nouvelle paire est 2 14. Dans le second cas (i.e le joueur a trouvé une paire il enregistre une nouvelle carte distinctes), il a découvert une nouvelle carte ( 12, car il connaît déjà deux cartes) ET il 14 1 choisit une autre carte parmi les 13 restantes, i.e,. On procède de cte manière 13 pour calculer les probabilités de transition de chaque état. 22 / 33
Stratégie joueur Modélisation Graphe de transition (8,1,d) (8,2,d) (8,3,d) (8,4,d) 2 14 12 1 1413 1210 1413 12 2 1413 (8,3, p) (8,3, p) (7,1,d) (7,2,d) (7,3,d) (7,4,d) (7,3, p) (7,3, p) 23 / 33
Calcul de la matrice de transition Modélisation On définit notre espace états par Ω N,l 1 avec Λ L,d n Ω N,L k N = n=k ΛL n où Λ L n = ΛL,d n Λ L,p n ={n} {0, 1,...,L} {d} Λ L,p j ={j} {0, 1,...,L} {p} Pour L 1 on définit Λ L,p n =. Cte décomposition est exactement celle faite dans le cas modèle. L espace états est "découpé" en plusieurs couches, Λ L n (comme le montre le figure de l exemple) chaque couche est séparée en deux ( ce sont les Λ L,d n Les états où nous avons paires. Les états avec cartes distinctes en mémoires. Λ L,p n ) : Ce découpage de l ensemble états est en fait utilisé pour créer la matrice de transition A N,L. Pour se faire, on définit ses sous-matrices suivantes : Rn L contenant les transitions où aucune paire n est trouvée. Pn L contenant les transitions où une paire a été trouvée. 24 / 33
Calcul de la matrice de transition Modélisation La matrice finale a donc la forme suivante A N,L RN L P L N 0 0 0 0 RN 1 L PN 1 L 0 0...... 0 0 0 R2 L P2 L 0 0 0 0 R1 L Les composantes sous-matrices sont calculées en utilisant à nouveau la combinatoire. 25 / 33
Durée jeu probabilité de le finir en k pas Modélisation Nous voulons maintenant déterminer la probabilité que le jeu se termine après un certain nombre de pas k. Pour cela nous définissons le temps d arrêt T N,L = inf{k X N,L k Λ L 1 }. Après calcul, la probabilité de finir le jeu en k pas est donnée par P L (T N,L = k) = P(X N,L k 1 ΛL 2, X N,L k Λ L 1 ) où R := (2L 1)(N 2) e T 1 = e T 1 Ak 1 N,L ( 1 3 e R+1 + 2 3 e R+2 + e R+3 + e R+L+2 ) le vecteur de la base canonique standard. 26 / 33
Modèle Statistique Modélisation Le jeu étant modélisé, il faut maintenant déterminer un test statistique permtant de déterminer la mémoire L joueur. On connait les "densités" de probabilité de finir le jeu en un certain nombres de pas en connaissant (de manière théorique) la mémoire. Question : Comment déterminer si le joueur possède une mémoire L = 1, 2, 3,...? 27 / 33
Modèle Statistique Modélisation Exemple On considère un jeu avec N = 12 paires de cartes on suppose que le joueur a une mémoire L = 4. Quelle est la probabilité que le joueur finisse le jeu en 36 pas? Probabilité 0.08 0.07 0.06 0.05 0.04 0.03 0.02 Probabilité de finir le jeu pour N=12, L=3 0.01 0 0 20 40 60 80 100 120 140 Nombre de pas On voit sur le graphique que la probabilité d un tel événement est trop faible pour accepter l hypothèse que le joueur finisse après 36 pas ait une mémoire L = 4. 28 / 33
Modèle Statistique Modélisation Exemple Considérons maintenant le cas où le joueur fini le jeu en 26 pas. Probabilité de finir le jeu pour N=12, L=3,4 0.12 L=3 L=4 0.1 0.08 Probabilité 0.06 0.04 0.02 0 0 10 20 2630 40 50 60 70 80 Nombre de pas On voit que la probabilité est grande pour une mémoire de 4. Mais si on regarde la densité dans le cas d une mémoire L = 3 on voit que la probabilité de finir en 26 pas, est mieux adaptée. C exemple nous montre bien, qu il faut faire attention à la densité choisie! 29 / 33
Test Statistique Modélisation H 0 : L = L 0 K : L L 0 Pour permtre d avoir de bons résultats, le joueur doit jouer un nombre M de fois pour ne pas avoir d interférence sur le test (fatigue, inatention..c.). Ainsi, pour chaque joueur il y aura un échantillon de M jeux T 1,...,T M A chaque essai, le joueur effectue k pas pour finir le. Nous cherchons la densité la plus appropriée en fonction de ce nombre de pas. Pour cela, il nous faut le likelihood. Chaque jeu étant indépendant autres, le calcul de celui-ci est simplement : P L (T1,...,T M ) = P L (T 1 ) P L (T M ) Connaissant les densités pour notre hypothèse H, on calcul le likelihood ratio R(L 0 T 1 T M ) = max{l L 0 P L (T 1,...,T M )} P L0 (T 1,...,T M ) 30 / 33
Acception/Rej de H 0 Modélisation Acceptation ou Rej de l hypothèse H 0 Rej de H 0 en faveur de l hypothèse K lorsque que R(L 0 T 1 T M ) est plus grand qu un certain niveau α donné. On calcul ce niveau en utilisant simulations de Monte-Carlo dans lesquels nous avons choisit une certaine p-value. On utilise aussi les statistiques Bayesienne avec la probabilité aposteriorie définie par P(L T 1,...,T M ) = P(P; T 1,...,T M ) P(T 1,...,T M )) Ainsi, nous pouvons obtenir d autres densités de probabilités. = P L (T 1,...,T M ) L P L (T 1,...,T M ) En général la probabilité aposteriorie le likelihood ratio correspondent bien. 31 / 33
Améliorations Modélisation Actuellement le modèle fonctionne parfaitement. Il a été décidé d améliorer le modèle de manière à diminuer le nombre d essais par joueur (pour réire le temps total de l expérience). Il faut aussi déterminer une manière d enlever "la chance débutant", i.e, trouver une paire par hasard plusieurs fois de suite (ce qui fausse le résultat statistique). 32 / 33
Modélisation Modélisation de problèmes réels facilitée par les chaînes de Markov la théorie. Modèles concluants (i.e, Jeu ). Création de nouveaux modèles en modifiant les anciens. Banta Lavenex P., Lavenex P., Mazza C., Pasquier J. (2009) Estimation of human spatial memory capacity in egocentric and allocentric coordinates, Preprint 33 / 33