Combnason de dres d'experts en élctaton de los a pror. Applcaton à un modèle doseréponse pour Lstera chez la sours. Exposé ApplBugs ISABELLE ALBERT 8 / / 03
INTRODUCTION Cet exposé présente une parte du traval publé dans l artcle : I. Albert, S. Donnet, C. Guhenneuc-Jouyaux, S. Low Choy, K. Mengersen, J. Rousseau. Combnng expert opnons n pror elctaton (wth Dscusson (French et Goslng)), Bayesan analyss, 7(3): 503-53, 0. Défnton : «Élcter» : est l acton d ader un expert ou des experts à formalser leurs connassances pour permettre de les sauvegarder, les partager et/ou les utlser. Contexte : Statstque bayésenne Obectf : Construre la lo a pror à partr de dres d experts. Lttérature abondante sur le suet d un pont de vue psychologque et statstque. Proposer une approche cohérente avec la démarche bayésenne (les données élctées vont mettre à our un a pror vague) et pouvant prendre en compte d éventuelles nteractons entre experts..0 ISABELLE ALBERT / ApplBugs 8 / / 03
SOMMAIRE Contexte bayésen et lo a pror Exemple en rsque almentare Constructon de la lo a pror à partr des dres d experts Combner des experts Résultats Conclusons et dscusson ISABELLE ALBERT / ApplBugs 8 / / 03.03
_0 Contexte bayésen et lo a pror ISABELLE ALBERT / ApplBugs.04 8 / / 03
Contexte bayésen et lo a pror Y = Données, Modèle paramétrque : Y θ ~ M θθ = paramètres Lo a pror sur θ : [θ] Vrasemblance (données) : [Y θ] Lo a posteror sur θ : [θ Y] par le théorème de Bayes : [θ Y] [Y θ] [θ] Chox de la lo a pror Pas d nformaton sur θ (sauf sur le support) : lo a pror «plate» (gaussenne avec une large varance) ou lo a pror de Jeffreys (utlsant l nformaton de Fsher) Des études antéreures : la lo a posteror d études antéreures peut servr de lo a pror Prse en compte de l avs d experts pour construre la lo a pror ISABELLE ALBERT / ApplBugs 8 / / 03.05
_0 Exemple en rsque almentare ISABELLE ALBERT / ApplBugs.06 8 / / 03
Modèle dose-réponse à Lstera Chox d un modèle exponentel : où p(d,α) est la probablté pour une sours de mourr avec la dose d. 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0 ( α ) p d, = e αd, α > 0 P(d) exponental 0,5 5 7,5 0 Alpha 0,04 Alpha 0, Alpha 0, Alpha 0,3 Des études antéreures ont montré que α est très mal connu après nférence (grande mprécson sur son estmaton). Donc utlser de l avs d experts bologstes réalsant ces expérences pour meux estmer α. Utlser la statstque bayésenne et construre une lo a pror nformatve [α] à partr des dres de ces experts..07 ISABELLE ALBERT / ApplBugs 8 / / 03
_03 Constructon de la lo a pror à partr des dres d experts ISABELLE ALBERT / ApplBugs.08 8 / / 03
Constructon de la lo a pror Sot D = {D,,D N } les données fournes par les experts. Ces données sont appelées données élctées. Dffcultés pour défnr l a pror : - les experts ont une connassance lmtée, ne connassent pas la lo sur tout son support - en un temps rasonnable, on ne peut leur poser qu un nb de questons lmté, donc ne fournssent souvent qu une pette quantté de données Donc rasonnable de supposer que [θ] appartenne à une famlle paramétrque : [ θ ] { θ λ, λ Λ} Donc But de l élctaton : trouver les valeurs de λ les plus approprées pour représenter le savor des experts Dans l exemple : ( α ) p d, = e αd θ = α log α ~ N µ, σ donc λ = (µ, σ ) ( ) ( ) ISABELLE ALBERT / ApplBugs 8 / / 03.09
Constructon de la lo a pror Processus d élctaton :. Préparaton : sélecton et motvaton des experts, formaton aux probabltés.. Défnr les quanttés à élcter : nterroger les experts sur des quanttés tangbles pour eux. 3. Interroger les experts 4. Tratement statstque : estmaton de λ à partr des données élctées 5. Valdaton auprès des experts Nature des données élctées : - encoder le savor des experts en dstrbutons de probabltés donc les nterroger «en probablté» ; - aperçu plus cohérent de leur savor en utlsant dfférents types de questons : des probabltés et des quantles par exemple d une quantté tangble X..00 ISABELLE ALBERT / ApplBugs 8 / / 03
Dans l exemple : modèle dose-réponse à Lstera Problème : α n a pas d nterprétaton concrète pour nos experts (paramètre de forme sur les courbes) Élctaton de probabltés : Queston structurelle (drectement sur p(d,α)) : «Vous avez fat un grand nombre d expérences, donnez le pourcentage d expérences qu ont condut à mons de q = 0% de sours mortes.» (avec auss q = 60%) Réponse théorque pour chaque expert : avec log α ~ N µ, σ Tratement statstque : ( (, α ) µ, σ ) P = P p d q * q ( ) ( ) Mas questons dffcles pour les experts ( q ) log µ = σ Φ ( Pq ) d log( q ) + log( q) σ = d ( Φ ( Pq ) Φ ( P )) q.0 ISABELLE ALBERT / ApplBugs 8 / / 03
Dans l exemple : modèle dose-réponse à Lstera Problème : α n a pas d nterprétaton concrète pour nos experts (paramètre de forme sur les courbes) Idée : nterroger sur X n = Nombre de sours mortes sur n sours ayant reçu une même dose d de Lstera X n Élctaton de probabltés : Queston prédctve : ( ( )) ~ Bn n, p d, α «Une expérence consste en l necton de la dose d à 0 sours. Dans comben d expérences parm 00, obtendrez-vous mons de q = sours mortes parm les 0?» (auss avec q = 6) Réponse théorque pour chaque expert : * Pq = P( X0 q µ, σ ) X Bn p d α ( ( )) ( ) ( ) où ~ 0,, 0 avec log α ~ N µ, σ Quanttés observables mas plus dffcle de tranement Tratement statstque : * ( µ, σ ) = arg mnλ Pq P q q q * r td r ( 0 r ) td q = 0 ( ) (( log µ ) / σ ) σ r= 0 0 P C e e f t t dt avec (réponse théorque).0 ISABELLE ALBERT / ApplBugs 8 / / 03
Dans l exemple : modèle dose-réponse à Lstera Élctaton de quantles : Queston prédctve : «Une expérence consste en l necton de la dose d à 0 sours. Vous fates un grand nombre d expérences, quel serat le nombre Q de sours mortes parm les 0 tel que t*00% des expérences aboutssent à un nombre de sours mortes nféreur ou égal à Q? (avec t = 0.,0.5 et 0.9) Réponse théorque pour chaque expert : * (, ) 0 t µ σ P X Q = t X Bn ( p ( d α ) ) log ( α ) ~ N ( µ, σ ) où X ~ Bn 0, p d, 0 α avec Queston structurelle : «Quelle serat la proporton Q de sours mortes telle que t*00% des expérences aboutssent à un nombre de sours mortes nféreur ou égal à Q? (avec t = 0.,0.5 et 0.9) Réponse théorque pour chaque expert : où ( α ) N ( µ σ ) log ~, ( (, * α ), t µ σ ) P p d Q = t.03 ISABELLE ALBERT / ApplBugs 8 / / 03
Dans l exemple : modèle dose-réponse à Lstera Tratement statstque des quantles : Prse en compte de l ncerttude des experts sur les quantles donnés : À chaque quantle donné, les experts assocent un degré de confance c t comprs entre et 0. Donc on peut construre un modèle d erreur de type Probt : (vrasemblance des données élctées) Q* t Φ t = Φ t + εt t où, est le quantle théorque P p d, α Q* µ, σ = t d exp( µ + σφ ( t) ) (d où Q* t = e et v t est relée au degré de confance : (q * précson fxée par le statstcen) P( Ф - (Q t ) -Ф - (Q * t) < q *) = c t P(- q * ε t q *) = c t v t = q */Ф - ((c t +)/) ( Q ) ( Q* ) ε ~ N ( 0, v ) ( ( ) t ) Par ex. : q * =.96, s c t = 90% v t =. et s c t = 50% v t =.9.04 ISABELLE ALBERT / ApplBugs 8 / / 03
_04 Combner des experts ISABELLE ALBERT / ApplBugs.05 8 / / 03
Combner des experts Soent pluseurs experts nterrogés. De chaque experts, on dédut une lo a pror mas comment obtenr une lo unque?. Approche par mélange [ ], θ ˆ λ θ? [ θ ] = w ˆ modélse les dfférences entre experts. Approche par moyenne ˆ λ = w ˆ [ ] ˆ λ θ = θ λ θ λ modélse un consensus entre experts Dffcultés : Comment chosr les pods w? Comment prendre en compte des nteractons entre experts (non ndépendance des experts s ls provennent par exemple de mêmes nsttuts)? Proposton : Modélsaton hérarchque Permet de prendre en compte leurs connassances communes mas permet une varablté entre et à l ntereur des groupes d experts.06 ISABELLE ALBERT / ApplBugs 8 / / 03
Formulaton du modèle hérarchque Soent J groupes de N experts ndcés par ( l expert, et au total N experts) : Modèle hérarchque : λ λ.. d.. d λ ~ π. 0 ( λ ) g., b =,..., N, ( λ ) g., b, =,..., J, Les experts regroupés en classes homogènes avec une même dstrbuton (premère lgne) La connassance des groupes lée à une dstrbuton commune (lgne ) π 0 lo peu nformatve représentant l ncerttude globale sur λ. λ peut être vu comme le paramètre de consensus entre experts. Dans l exemple : λ = µ, σ, b = τ, ξ, λ = µ, σ et b = τ, ξ.. d σ.. µ µ, τ N µ, τ et σ, ξ Γ ξ, ξ =,..., J, =,..., N d ( ) ( ) σ.. d σ.. d µ µ, τ N ( µ, τ ) et σ, ξ Γ ( ξ, ξ ) =,..., J σ ( ) Γ( ) µ ~ N µ, V et σ ~ σ a, a 0 0 ( ) ( ) ( ) ( ).07 ISABELLE ALBERT / ApplBugs 8 / / 03
Formulaton du modèle hérarchque Tratement statstque (proche du bayesen emprque) : Idée : lo [α] = lo a posteror [α D] (approche supra-bayésenne) de la forme : α D α λ Dt λ ï λ λ, b λ λ, b π t 0 λ dλdλ dλ Dans l exemple (5 experts) : gps d experts : gp «Pasteur» avec 3 experts et gp «INRA-Tours» avec experts Deux étages dans l estmaton ) Estmaton des hyper-paramètresτ, ξ, τ, ξ par la méthode des moments * en utlsant les probabltés élctées : ( ˆ µ ˆ, σ ) = arg mn λ Pq P q N q ˆ τ ( ˆ ˆ ) = µ µ N avec la moyenne des dans chaque gp. ˆ = µ ˆ µ J ˆ τ = ( ˆ µ ˆ ) µ J avec la moyenne des = ˆµ ˆ µ N ˆ ˆ σ ξ = avec la moyenne des dans chaque gp N = ˆ σ ˆ σ ˆ σ J ˆ σ ξ = avec la moyenne des J = ˆ σ σˆ σˆ J J ˆ V = ˆ τ + ˆ, τ aˆ = ξ ˆ + ξ, µ 0 = ˆ, µ σ ˆ 0 = σ. J J = = ( ).08 ISABELLE ALBERT / ApplBugs 8 / / 03
Formulaton du modèle hérarchque Tratement statstque : Dans l exemple : ) Lo [α D] approchée par un algorthme MCMC (programmable sous ags) en utlsant les quantles élctés et les hyper-paramètres obtenus précédemment «plugés» (ms drectement dans la vrasemblance) Comparason avec la méthode par «moyenne» où λ est remplacé par les estmateurs de la méthode des moments sur toutes les données élctées : log α ~ N, ( ˆ µ ˆ σ ) Comparason avec la méthode par mélange (N experts) avec les λ obtenus sur toutes les données élctées par la mnmsaton des mondres carrés : log α ~ N ( ˆ, ˆ ) N µ σ.09 ISABELLE ALBERT / ApplBugs 8 / / 03
_05 Résultats ISABELLE ALBERT / ApplBugs.00 8 / / 03
Résultats : Lstera/sours Beta(0.5,0.5) Approche «Mélange» Approche «Moyenne» Approche hérarchque.0 ISABELLE ALBERT / ApplBugs 8 / / 03
_06 Conclusons et Dscusson ISABELLE ALBERT / ApplBugs.0 8 / / 03
Conclusons et dscusson Approche qu garde la cohérence de l approche d apprentssage va la mse à our bayésenne de la lo a pror par les données élctées Approche qu utlse le cadre de la modélsaton hérarchque pour combner les dres d experts (vers un consensus) et tenr compte des nteractons éventuelles entre experts Combnason d élctatons ndrectes (sur des observables) de dfférents experts et de dfférentes natures (proba. et quantles) Prse en compte de l ncerttude des experts en leur demandant leur confance en leur répons (envsager un autre type de calbraton) Chaque expert peut chosr la dose où l est le plus à l ase.03 ISABELLE ALBERT / ApplBugs 8 / / 03
Conclusons et dscusson Dans l artcle, étude de smulaton qu fat varer le nombre d experts par groupe (même nombre, fort déséqulbre), la composton des groupes (deux groupes alors qu l y en a qu un) Autre exemple, modélsaton de la durée d une thèse en mathématques dans une unversté australenne (3 groupes, modèle log-normal, étape d estmaton) Feedback : consensus? Modélsaton plus fne : ex. : Déséqulbrer les gps : l mportance d un groupe vs un autre ou un gp qu a un bas systématque :.. d g ( b ) (connassance autre) ou λ. λ +,, > 0 ( ).. d g bb bb b λ. λ, ', ' >.04 ISABELLE ALBERT / ApplBugs 8 / / 03
Merc de votre attenton ISABELLE ALBERT 8 / / 03