Cours de méthodes de scoring

UNIVERSITE DE CARTHAGE ECOLE SUPERIEURE DE STATISTIQUE ET D ANALYSE DE L INFORMATION Cours de méthodes de scoring Préparé par Hassen MATHLOUTHI Année universitaire 2013-2014 Cours de méthodes de scoring- Hassen MATHLOUTHI Page 1

AVANT PROPOS Ce cours polycopié sur les méthodes de scoring est le résultat d une expérience d enseignement de ce module durant ces dernières années à l Ecole de Statistique et d Analyse de l Information Il profite également de l expérience acquise à travers l encadrement dans la même école de projets de fin d études ayant porté sur des applications de gestion qui ont utilisé les méthodes de scoring. Ce cours reste néanmoins très incomplet. Il ne traite en effet en tout que deux méthodes de scoring qui sont la méthode d analyse discriminante de Fisher et la méthode de discrimination logistique. Ces deux méthodes sont les plus connues mais d autres méthodes également intéressantes existent dans la littérature statistique et devraient être aussi étudiées par tout lecteur cherchant à approfondir ses connaissances en la matière. Il reste également assez théorique. En effet, les considérations d ordre pratique liées notamment à l échantillonnage et aux techniques de sélection des variables explicatives ne sont que partiellement ou pas du tout abordées. D autre part et quoique ayant fait l objet de plusieurs lectures et de vérifications, ce cours risque de contenir quelques erreurs mathématiques (et erreurs de langue aussi). Je serais très reconnaissant aux lecteurs me signalant les éventuelles erreurs ou incompréhensions. L auteur Cours de méthodes de scoring- Hassen MATHLOUTHI Page 2

TABLE DE MATIERES Désignation Page Avant propos 2 Chapitre1 : Introduction générale 4 1. Présentation des méthodes de scoring 2. Démarche pratique 3. Portée et limites 4 6 7 Chapitre 2 : L approche géométrique 9 1. Position du problème et notation 9 2. Concepts de base 11 3. Principe de classement 16 Chapitre 3 : Classifieurs Bayesiens 19 1. Eléments de la théorie de la décision 19 2. Classifieur de Bayes 22 3. Mise en application 24 Chapitre 4 : Analyse discriminante de Fisher 26 1. Présentation 26 2. Modélisation 26 3. Estimation 28 Chapitre 5 : Analyse discriminante logistique 29 1. Présentation 29 2. Modélisation 31 3. Estimation 31 Chapitre 6 : Validation d un modèle de scoring 33 1. Concepts de base 33 2. Principaux outils 35 3. Illustration 39 Bibliographie. 41 Cours de méthodes de scoring- Hassen MATHLOUTHI Page 3

Chapitre 1 INTRODUCTION GENERALE Cette introduction générale a pour but de présenter l objet des méthodes de scoring ainsi que leurs principales applications en gestion. La portée et les limites de ces méthodes ainsi que la démarche pratique pour leur mise en œuvre sont également discutées. 1. PRESENTATION Dans cette présentation des méthodes de scoring, nous nous proposons de définir l objet de ces méthodes. Nous examinons par la suite les principales applications des dites méthodes dans le domaine de la gestion des entreprises. 1.1 Objet Selon le langage courant, le terme score peut signifier «classement», «résultat», «marque» etc. En statistique, c est l idée de «classement» qui est surtout retenue. Le scoring (statistique) se présente en effet comme un ensemble de méthodes conduisant à un classement d individus au sein de groupes préalablement définis. La notion de classement mérite à son tour d être élucidée compte tenu des confusions souvent constatées avec le terme «classification». Ce dernier terme signifie en effet la mise en évidence de groupements inconnus dans une population. En revanche, un classement désigne toute méthode d affectation des individus d une population dans des groupes définis à priori. Formellement, étant donné un ensemble d individus pouvant être décrits par un certain nombre de variables. Ces individus se répartissent entre quelques groupes définis à priori. Un individu se présente. On ne connait pas son groupe d appartenance. Peut-on, sur la base des observations qu il présente vis-à-vis des variables considérées, prévoir le groupe auquel il appartient? C est le problème auquel les méthodes de scoring cherchent à donner une solution. Une méthode de scoring se présente en effet comme une technique statistique permettant de classer un individu dans l un des quelques groupes définis à priori et ce au vu de certaines caractéristiques de cet individu. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 4

Il s agit bien d une méthode de classement statistique car elle est basée d abord sur un traitement statistique des données issues d un échantillon d individus. D autre part, les facteurs derrière l appartenance d un individu à tel ou tel autre groupe reste en partie inconnus. En fait, les méthodes de scoring relèvent de méthodes générales de classement statistiques (et non de classification) comme l analyse discriminante, la régression logistique, etc. 1.2 Domaines d application Les techniques de scoring sont appliquées dans plusieurs domaines comme la médecine, l agronomie, l archéologie, l informatique, la gestion des entreprises, etc. Dans ce dernier domaine, deux principaux types de score sont utilisés : le score d appétence et le score de risque. 1.2.1 Score d appétence Utilisé notamment en marketing, le score d appétence est une mesure de la propension d acheter d un client. En pratique, on utilise notamment ce type de score pour apprécier la probabilité d un client d être intéressé par un nouveau produit. En effet, dans les domaines où il est possible d atteindre directement (par email, SMS, ou par voie postale par exemple) un grand nombre de clients potentiels (téléphonie, services bancaires, etc.), la promotion de nouveaux produits gagnerait à être ciblée auprès des clients les plus intéressés. Dans ce contexte, on est ainsi en présence de deux groupes : celui des clients qui sont intéressés par le nouveau produit et celui des clients qui ne le sont pas. La construction d un score d appétence permet alors de prévoir le groupe d appartenance des différents clients de l entreprise au vu de leur caractéristiques et partant : De n atteindre que les clients les plus réceptifs D éviter d importuner les clients non intéressés Ce qui assure une utilisation optimale du budget alloué à cet effet. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 5

1.2.1 Score de risque Le score de risque ou de comportement est une mesure de la probabilité pour un client de subir un certain événement défavorable pou l entreprise. L exemple typique est le crédit scoring utilisé par les banques pour apprécier les risques de non remboursement des crédits accordés à leurs clients. Dans ce contexte, les groupes en présence sont le groupe des «bons clients» et celui des «mauvais clients». Une méthode de scoring se présente alors comme un précieux outil d aide à la décision à la disposition des banquiers leur permettant lors de demandes de crédit par leur clients de détecter si ces derniers présentent ou non un grand risque de non remboursement. Ce type de score peut être aussi utilisé par les compagnies d assurance pour apprécier le niveau de sinistralité d un nouveau client. L utilisation d un score de risque permet ainsi de réduire les impayés. Elle permet également de fournir les bases d une tarification du risque. 2. DEMARCHE PRATIQUE La mise en place d un système de scoring passe par un certain nombre d étapes qu il convient de réaliser. 2.1 Cas du score d appétence Pour fixer les idées considérons le cas d une entreprise de téléphonie qui projette de lancer un nouveau service (par exemple téléphoner à moitié prix entre 22 heures et six heures du matin moyennant une cotisation mensuelle de 5 dinars). Comment procède t elle pour faire connaitre ce nouveau produit? La solution la plus facile est d envoyer un SMS présentant ce produit à l ensemble des abonnés. Cette solution n est pas évidemment la plus appropriée car un certain nombre de ces abonnés n est pas intéressé. Il serait plus judicieux de distinguer au préalable entre les clients non intéressés et les clients intéressés et procéder par la suite à la promotion du nouveau produit auprès de ces derniers. Extraction d un échantillon de la base des données des clients de l entreprise Dans le cadre d une enquête, présenter le nouveau produit aux clients de l échantillon et solliciter leur niveau d appétence. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 6

Utiliser la moitié des données de l échantillon (données indiquées par la base d une part et niveau d appétence fournies par l enquête d autre part) pour modéliser le score d appétence (expliquer le niveau d appétence comme une fonction des caractéristiques des clients) Utiliser l autre moitié des données de l échantillon pour valider le modèle de scoring spécifié. Calculer le score pour l ensemble des clients Cibler les clients les plus scorés compte tenu du budget alloué. 2.2 Cas du score de risque La mise en place d un système de crédit scoring dans une banque passe à priori par les étapes suivantes : Extraire dans les dossiers de crédits accordés dans le passé un échantillon de «bons clients» et de «mauvais clients» NB : On ne cherche pas à respecter la structure de la population entre «bons» et «mauvais» clients. On considère plutôt pour le besoin de la modélisation un échantillon plus ou moins également réparti. Analyse préliminaire des données issues de l échantillon choisi (élimination des erreurs et incohérences, recodage des variables, sélection des variables explicatives, etc.) Utilisation de la moitié des données de l échantillon pour modéliser le score de risque (explication de la probabilité d être un mauvais client comme une fonction de ses caractéristiques) Utilisation de l autre moitié des données de l échantillon pour valider le modèle de scoring spécifié. Fixation d un seuil de score en déca du quel un client est considéré comme «mauvais». NB : Ce seuil est généralement fixé à travers un calcul économique. Application du modèle adopté sur les nouvelles demandes de crédits. 3. PORTEE ET LIMITES En pratique, on pourrait utiliser d autres méthodes plus ou moins subjectives pour apprécier la probabilité d appartenance d un individu à un groupe donné. Par rapport à ces méthodes, les techniques statistiques de scoring présentent un certain nombre d avantages et inconvénients dont les principaux sont présentés ci après. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 7

3.1 Principaux avantages Par rapport à un système de notation subjective, le scoring statistique présente les avantages suivants : Evaluation quantitative de la probabilité d appartenance ce qui permet d ordonner les individus. Caractère immuable (fixe) des résultats Cohérence des résultats : deux individus ayant les mêmes caractéristiques auront le même score. Caractère explicite : méthodologie d évaluation pouvant être clairement présentée. Prise en compte de plusieurs facteurs de risque. Aptitude d être testée au préalable Explication du lien existant entre le niveau de risque et les facteurs de risque Aptitude à donner lieu à des calculs sur les effets sur la rentabilité de l entreprise. 3.2 Principaux inconvénients Les méthodes statistiques de scoring soufrent néanmoins de quelques insuffisances dont entre autres : La décision pouvant être prise suite à l utilisation des méthodes de scoring est basée sur une probabilité et non sur une certitude Les méthodes statistiques de scoring supposent comme toute autre méthode statistique que le futur est identique au passé. Le risque est expliqué par les seules variables disponibles Il existe un vrai problème de biais de sélection dans l élaboration d une méthode de crédit scoring. En effet, les dossiers refusés ne sont pas pris en considération. L application d un système de scoring nécessite un grand nombre de données et de variables statistiques et serait de ce fait impossible à réaliser sans l outil informatique. La mise en place d un système de scoring dans une entreprise n est pas toujours facile à réaliser du fait de la nécessité de son intégration informatique avec les autres systèmes d information. Remarque : dans tous les cas, il convient de se rappeler que la statistique est juste un outil d aide à la prise de décision et ne permet en aucun cas d arrêter cette décision. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 8

Chapitre 2 APPROCHE GEOMETRIQUE Ce chapitre présente la méthode de scoring la plus intuitive. Il s agit en effet d une méthode simplement basée sur des outils géométriques et statistiques. La règle d affectation qui se déduit de cette approche géométrique se présente comme un cas particulier important de la méthode d analyse discriminante de Fisher qui sera examinée en détail plus loin dans ce cours. 1. NOTATION ET POSITION DU PROBLEME L objet de cette section est de placer le problème de classement dans un cadre géométrique. Pour ce faire, nous devons au préalable fixer les notations. 1.1 Notations On considère une population E composée de n individus. On collecte auprès de ces individus des données relatives à p variables quantitatives. La donnée relative à la variable j chez l individu i est notée x i,j L ensemble des données collectées peut alors être représenté par un tableau ayant la forme suivante : x 1,1 x 1,2 x 1,j x 1,p x 2,1 x 2,2 x 2,j x 2,p x i,1 x i,2 x i,j x i,p x n,1 x n,2 x n,j x n,p où par convention, on a placé les p données relatives à l individu i dans la ligne n i (et donc les n données concernant la variable j dans la colonne n j) Pour la formalisation mathématique, ce tableau est identifié à une matrice X de n et p dimensions. De même, on identifie la colonne n j de ce tableau, représentant la variable j, à un point de R n qu on note X j. Pareillement, on identifie la ligne n i représentant l individu i de ce même tableau à un point de R p. Ce point est noté X (i) Cours de méthodes de scoring- Hassen MATHLOUTHI Page 9

Les points variables X j forment un nuage de p points dans de R n. Il en est de même en ce qui concerne les points individus qui forment un nuage de n points de R p. X =,,.,,,,.,,..,,.,,.,,.,,, X j =,,,., et X (i) =,,,., Illustration géométrique : On considère un nuage de 5 individus décrits par deux variables ( p=2) 6 4 2 0-4 -2-2 0 2 4 6-4 -6 On observe également auprès de chacun des n individus son appartenance à l un des m groupes E 1, E 2,,E k,,e m définis à priori. Un individu appartient à un et un seul groupe. On a ainsi : et E k E l = k l. Si on note n 1, n 2,,n k,,n m les effectifs respectifs des m groupes considérés, on a ainsi : Les données disponibles concernent aussi les poids p i associés à chaque individu i. Ce poids mesure l importance relative de l individu dans l analyse à effectuer. On a par définition : 0 1 à 1 Un cas particulier important est celui où les poids sont uniformes : 1 1 à Cours de méthodes de scoring- Hassen MATHLOUTHI Page 10

Remarques Le poids d un groupe est naturellement défini par la somme des poids des individus format ce groupe :. Dans le cas uniforme Les poids associés aux groupes ne sont pas uniformes car les effectifs des groupes ne sont pas en général égaux. 1.2 Position du problème Etant donné un nouvel individu dont on ne connait pas le groupe d appartenance. Soit x =,,.,, ses coordonnées. Le problème posé consiste à prévoir le groupe d appartenance de cet individu au vu de ses caractéristiques définies par x. Il convient de signaler qu il s agit d une prévision et non d une détermination du groupe d appartenance. Il y a donc un risque de procéder à un classement erroné. 2 CONCEPTS DE BASE Utilisant le système de notation sus présenté nous donnons dans ce qui suit les concepts statistiques et géométriques nécessaires pour définir la méthode de classement considérée. 2.1 Moyennes arithmétiques et centre de gravité Pour chaque variable X j on calcule sa moyenne arithmétique, NB : Dans le cas uniforme, cette formule prend la forme habituelle, Le vecteur g des p moyennes arithmétiques est appelé centre de gravité du nuage des individus : g = (,,,,,. Ce point définit un nouvel Cours de méthodes de scoring- Hassen MATHLOUTHI Page 11

individu. C est l individu moyen. Dans la suite, on suppose que g = (0,0,,0). Cette hypothèse a l avantage de simplifier les calculs sans modifier les résultats de l analyse. Remarque : Pour satisfaire cette hypothèse en pratique, on commence par centrer le nuage des individus. On pose à cet effet,, où les, désignent les données initiales. On calcule également pour chaque variable X j sa moyenne arithmétique dans chaque groupe k, : Cela permet de définir un centre de gravité pour le sous nuage associé à ce groupe, soit g k =,,,,, Remarque : avec des poids uniformes, on a :, Ce point de R p s identifie ainsi avec l individu moyen du groupe k. On le considère comme le représentant de ce groupe. On a la propriété suivante : La moyenne de la population coïncide avec la moyenne pondérée des moyennes des groupes, les pondérations étant les importances numériques des groupes : Il s ensuit que : (= 0 si le nuage est centré) Cours de méthodes de scoring- Hassen MATHLOUTHI Page 12

2.2 Matrice de variances et covariances La variance de la variable j est définie par : soit en développant, ² Remarque : Avec des données centrées, on a, ²,. Lorsqu en plus les poids sont uniformes, la formule se simplifie davantage :, 1 La covariance des variables j et h est donnée par :, NB : Avec des poids uniformes, on a :,,,,, ou encore si le nuage est centré :,,, 1 On note V la matrice de variances et covariances : V=,.,,,.,,..,,.,.,,., Cours de méthodes de scoring- Hassen MATHLOUTHI Page 13

On peut remarquer qu en présence d un nuage centré et des poids uniformes, on a : 1 On sait que c est une matrice symétrique définie positive, inversible sauf s il existe une relation linéaire entre les variables. De même on définit pour chaque groupe k une matrice de variances et covariance spécifique, soit V k =,.,,,.,,..,,.,.,,.,, et (, si les poids sont uniformes),,,,,, si les poids sont uniformes) Remarque: les moyennes ne sont pas nulles car les sous nuages ne sont pas centrés. Soit W la matrice définie par la moyenne arithmétique des variances V k. Cette matrice est appelée matrice des variances et covariances intra groupes: A signaler que la matrice W est en général inversible. On définit également une autre matrice B appelée matrice des variances et covariances intergroupes. C est la matrice des variances et covariances calculée Cours de méthodes de scoring- Hassen MATHLOUTHI Page 14

au niveau des représentants des différents groupes. A rappeler que chaque représentant d un groupe d eux est caractérisé par les moyennes des variables considérées dans le groupe considéré, c'est-à-dire le centre de gravité de ce groupe. Les données concernant les représentants des groupes peuvent être consignées dans une matrice G prenant la forme suivante : G =...... La matrice B est alors définie comme suit : B =,.,,,.,,..,,.,.,,., ² ² et, car le nuage est centré. On peut vérifier que :. C est une matrice carrée de dimension p mais en en général de rang inférieur à p. Cette matrice n est donc pas en général inversible. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 15

On a le résultat important suivant connu sous le nom de formule de l analyse de la variance : V= W + B. Cette propriété s énonce ainsi : les variances (et covariances) totales (au niveau de la population) telles que présentés par la matrice V coïncident avec la somme des variances (et covariances) intragroupes (au sein des groupes) données par la matrice W et des variances (et covariances) intergroupes (entre les groupes) fournies par la matrice B. 2.3 Métrique Pour définir la distance, non nécessairement euclidienne, entre deux individus e et f, on a besoin d une métrique M. Il s agit d une matrice symétrique définie positive de dimension p: d²(e,f) = (e-f) M(e-f). La norme associée à cette distance est alors donnée par : e ² = d²(o,e) = e Me Remarque : Lorsque M =I, matrice identité, on a la distance euclidienne 3. PRINCIPE DE CLASSEMENT Rappelons qu on cherche à classer un nouvel individu dans l un des m groupes sur la base des données relatives aux p variables considérées telles que observées chez cet individu. L approche géométrique, connue sous le nom de règle de Mahalanobis Fisher, consiste tout simplement à classer cet individu dans le groupe le plus proche. On sait qu un individu et un représentant d un groupe sont deux points de R p. Le groupe recherché est donc celui pour le quel la distance entre son centre de gravité et le point individu concerné est la plus faible. La métrique considérée pour calculer cette distance est celle de Mahalanobis définie par l inverse de la matrice intra groupes W. La règle d affectation prend une formulation particulière lorsqu on est en présence de deux groupes seulement. Aussi, distingue t- on dans ce qui suit le cas général du cas de deux groupes. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 16

3.1 Cas général Soit x = (x 1, x 2,.., x j,, x p ) les coordonnées du nouvel individu. Désignons par d²(x,g k ) le carré de la distance entre x (le nouvel individu) et g k (le centre de gravité du groupe k). Par définition, l on a : d où en développant : d²(x,g k )= (x-g k ) W -1 (x-g k ) d²(x,g k )= x W -1 x + g k W -1 g k -2x W -1 g k On note que le premier terme du second membre de l égalité précédente (x W -1 x) ne dépend pas des groupes. On peut donc ne pas en tenir compte et se limiter à la quantité : S k (x) = x W -1 g k ½ g k W -1 g k En calculant ces quantités pour k = 1 à m et les triant selon l ordre croissant, on identifie le groupe pour le quel cette quantité est la plus grande. C est ce groupe qui définit le groupe d affectation de l individu considéré. On peut noter que l expression précédente est une fonction linéaire des coordonnées du nouvel individu : ce qui constitue un avantage pratique important du fait de la simplicité des calculs à effectuer. 3.2 Cas de deux groupes Soit x = (x 1, x 2,.., x j,, x p ) les coordonnées du nouvel individu. Cet individu est ainsi à affecter au groupe 1 lorsque soit en remplaçant, d²(x,g 1 ) < d²(x,g 2 ) x W -1 x + g 1 W -1 g 1-2x W -1 g 1 < x W -1 x + g 2 W -1 g 2-2x W -1 g 2 D où en simplifiant et en factorisant on trouve, Cours de méthodes de scoring- Hassen MATHLOUTHI Page 17

(g 1 -g 2 ) W -1 (x- ½(g 1 +g 2 )) > 0 On remarque que le premier membre de cette inégalité est une fonction linéaire de x. En notant cette fonction S, l individu dont les coordonnées sont données par x est ainsi à affecter dans le groupe 1 lorsque : S(x) > 0 ( et donc à affecter au groupe 2 lorsque S(x) < 0). La fonction S est communément appelée fonction de score. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 18

Chapitre 3 CLASSIFIEUR BAYESIEN Le problème de classement d un individu sur la base de ses caractéristiques dans l un de quelques groupes définis à priori peut être placé dans un cadre probabiliste. Il sera ainsi possible d utiliser tous les outils de la théorie de probabilité dont en particulier les méthodes de choix dans l incertain. Un avantage important de l approche probabiliste par rapport aux méthodes géométriques présentées dans le chapitre précédent est alors de permettre d apprécier quantitativement les risques de mauvais classement. 1. ELEMENTS DE LA THEORIE DE DECISION On considère une population E de n individus répartis entre m groupes E 1, E 2,,E k,,e m définis à priori : et E k E l = k l. Si on note n 1, n 2,,n k,,n m les effectifs respectifs des m groupes considérés, on a ainsi : Soit un individu e de E, dont on ne connait pas le groupe d appartenance et qu on cherche à classer dans l un des m groupes. Cet individu peut être considéré comme le résultat d une expérience aléatoire de tirage au hasard d un élément de E. Vu de cette manière, le problème de classement peut être placé dans le cadre de la théorie probabiliste. L ensemble E se présente ainsi comme un ensemble de résultats possibles d une expérience aléatoire auquel on peut adjoindre une tribu ξ et une probabilité P pour former un espace probabilisé. 1.1 Etats de la nature : Pour un individu e dont on ne connait pas le groupe d appartenance, on définit m états de la nature, c'est-à-dire des éventualités, concernant son groupe d appartenance. Ces états de la nature sont notés : θ k : «l individu e E k» et on désigne par Θ ={θ 1,θ 2, θ k,,θ m } l ensemble des états de la nature. Soit T une application de E dans Θ associant à chaque individu son état de la nature. On peut considérer T comme une variable qualitative prenant les modalités θ 1,θ 2, θ k,,θ m et les probabilités à priori d appartenance au groupe k : p k = P(T= θ k ) comme sa loi de probabilité. NB : T est non observable. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 19

1.2 Espace des observations : Soit x = ( x 1, x 2,, x j,,x p ) un vecteur de p observations relevés auprès de l individu e. On peut considérer x comme une réalisation d un vecteur aléatoire X= ( X 1, X 2,, X j,,x p ). On note χ ={ x R p / x réalisation de X). C est l espace des observations. La variable X est alors une application de E dans χ (vérifiant les conditions de mesurabilité). 1.3 Espace des décisions : On a à affecter un individu e dans l un des m groupes. C est une décision. On note a k la décision d affecter l individu e dans le groupe k. On note A l ensemble des décisions : A={a 1,a 2, a k,,a m } 1.4 Règle de décision : C est une méthode de classement (on dit aussi classifieur). Formellement, c est une application de χ dans A. On note δ cette application. Techniquement, c est un procédé permettant de prendre une décision «a» au vu de la réalisation x de X : a=δ(x). Nb : Comme x résulte du hasard a=δ(x) résulte aussi du hasard. Aussi, définit on la variable aléatoire Y =δ(x) qui prend les valeurs a 1,a 2, a k,,a m avec des probabilités définies par : P( Y=a) = P(x χ/ a=δ(x)}=p(δ -1 (a)). 1.5 Fonction de perte : A chaque règle de décision on associe une fonction de perte définie par une application L de (A, Θ) dans R + : L(a k, θ l ) 0. On l interprète comme la perte (ou le coût) supportée en affectant e au groupe k alors qu en réalité il appartient au groupe l. On note que L(a k, θ k ) = 0 pour tout k = 1 à m. D autre part, comme a k et θ l résulte du hasard, la perte encourue z = L(a k, θ l ) résulte aussi du hasard. C est une réalisation d une variable aléatoire Z = L(Y,T). Dans la suite, on est amené à calculer la perte moyenne d une règle de décision : E(Z) =,,,, Cours de méthodes de scoring- Hassen MATHLOUTHI Page 20

1.6 Illustration : E est l ensemble des champignons pouvant être récoltés dans un foret. On suppose que ces champignons appartiennent à deux groupes. E 1 : les champignons combustibles et E 2 : les champignons vénéneux. On observe sur les champignons une seule variable aléatoire X, prenant les valeurs 3, 5 et 8 (par exemple leur diamètre exprimé en cm). On suppose disposer des lois conditionnelles de X sachant T=θ et de la loi marginale de X : X / T= θ 1 X / T=θ 2 X 3 9/10 0 3/4 5 1/10 1/4 1/8 8 0 3/4 1/8 ainsi que la loi de T : / P(T=θ 1 ) = 5/6 et P(T=θ 2 ) = 1/6. On cueille un champignon e. Soit deux décisions a 1 : «Manger ce champignon» a 2 : «Ne le pas manger». On suppose que les coûts sont comme suit : a 1 a 2 θ 1 0 1 θ 2 200 0 Considérons enfin la règle de décision suivante : δ(x) = a 1 si x =3 et δ(x) = a 2 si x > 3. Trouvons la loi de Y = δ(x), la loi du couple (T,Y) et E(Z). Loi de Y Loi de (T,Y) Y a 1 a 2 P(Y=a i ) 3/4 1/4 On calcule E(Z) =1/12 a 1 a 2 T θ 1 3/4 1/12 5/6 θ 2 0 1/6 1/6 Y 3/4 1/4 1 Cours de méthodes de scoring- Hassen MATHLOUTHI Page 21

2 CLASSIFIEUR DE BAYES 2.1 Définition : Etant donné un espace d états de la nature Θ, un espace d observations χ, un espace de décision A et une fonction de perte L, le classifieur de Bayes est la règle de décision minimisant la perte moyenne parmi toutes les règles de décision possibles. Soit l ensemble de toutes les règles de décisions possibles de χ dans A. Le classifieur de Bayes δ * est donc tel que : E(L(δ * (X),T)) E(L(δ (X),T)) δ 2.2 Caractérisation : Proposition Soit δ 0 minimisant E(L(δ (X),T)/X=x) x χ alors δ 0 minimise E(L(δ (X),T)). Preuve : E(L(δ 0 (X),T)/X=x) E(L(δ(X),T)/X=x) x χ et δ E x (E(L(δ 0 (X),T)/X=x)) E x (L(δ(X),T)/X=x) δ E(L(δ 0 (X),T)) E(L(δ (X),T)) δ La règle de Bayes est donc telle que : E(L(δ*(X),T)/X=x) E(L(δ(X),T)/X=x) x χ et δ Soit donc,, PT θ /X x, PT θ /X x x χ et δ Or d après la formule de Bayes, D où en remplaçant, P(T=θ k /X=x) = Cours de méthodes de scoring- Hassen MATHLOUTHI Page 22

,, x χ et δ Ainsi, étant donné un individu e et x e la réalisation de X chez cet individu. Notons a l* la décision prise au vue de x e si on applique la règle de Bayes (a l* =δ*(x e )) et a l la décision prise au vue de x e si on applique une autre règle (a l =δ (x e )). Comme L(a k, θ k ) = 0 k = 1 à m, on a ainsi :,, D où la règle pratique suivante, étant donné un individu e de caractéristiques x : On commence par calculer la quantité :, pour chaque groupe l = 1 à m. Le groupe à retenir pour l affectation de l individu e est celui pour le quel cette quantité est la plus faible. 2.3 Cas particulier important Les coûts varient d une application à une autre. Si l on suppose que les coûts sont égaux, la règle de Bayes prend une formulation assez simple. En effet, en développant la formule précédente on trouve:,,, Après simplification, on obtient: Soit après division des deux membres par, PT θ /X x PT θ /X x, Ce qui signifie que le classifieur de Bayes affecte l individu e au groupe pour le quel la probabilité d appartenance à posteriori est la plus élevée. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 23

Bien que l hypothèse d égalité des coûts ne soit pas plausible, c est cette règle qui est la plus retenue en pratique. Ainsi, étant donné un individu e et x ses caractéristiques, On commence par calculer la quantité C k (x) = p k f k (x) pour k =1 à l. Le groupe d affectation de e est celui pour le quel la quantité C k (x) est la plus élevée. Remarques : Toute transformation monotone de C k (x) peut être considérée comme une fonction donnant le score de e dans E k. En particulier, la transformation «Logarithme» est souvent utilisée pour les facilités de calcul qu elle permet. Dans le cas de deux groupes (k=1,2), la règle d affectation précédente est équivalente à la suivante : On affecte l individu e au groupe 1 si : R(x)= [p 1.f 1 (x)/ p 2.f 2 (x)] > 1 Ou ce qui est équivalent en passant aux logarithmes, si 3. MISE EN APPLICATION r(x)=ln(p 1 /p 2 ) +L n(f 1 (x)/f 2 (x)) > 0 Pour la mise en application du classifieur de Bayes, il faut disposer des probabilités à priori p k et des probabilités conditionnelles f k. En pratique, ces grandeurs sont en général inconnues. Il convient en conséquence de les estimer à partir de données issues d un échantillon. On peut procéder à une estimation directe de ces probabilités dans le cas où X= ( X 1, X 2,, X j,,x p ) est discret et p petit (estimation non paramétrique) Rappelons que l on a à estimer : p k = P(e E k ) k = 1 à m f k (x) = P( X=x/ E k ) k = 1 à m et x χ NB : l ensemble χ est fini.il est défini par le produit cartésien χ = χ 1 χ 2 χ j χ p ou χ j est l espace des observations relatives à la variable X j. C est un ensemble fini contenant les modalités de cette variable puisque celle-ci est discrète. Cours de méthodes de scoring- Hassen MATHLOUTHI Page 24