La reconnaissance automatique d écriture. Théodore Bluche

Transcription

1 La reconnaissance automatique d écriture Théodore Bluche

2 De quoi vais-je parler? Mon travail : un doctorat en informatique Mon sujet : la reconnaissance automatique d écriture Ma collaboration avec des étudiants allemands

3 Mon parcours Supélec - Diplôme d Ingénieur Electronique, Informatique, Automatique, Electrotechnique, Ingénieur en Informatique Baccalauréat Scientifique Classes préparatoires Maths / Physique Préparation au concours d entrée aux Grandes Ecoles d Ingénieurs Oxford University Master en Informatique Début de mon doctorat

4 Le doctorat Directeur de thèse Prof Hermann Ney Co - encadrant Christopher Kermorvant Moi 3 ans (en France) Lire des articles Connaitre le sujet Exprériences Ecrire la thèse

5 je travaille Lieux de Travail Qu est ce que c est? Mes collègues un laboratoire de recherche qui est associé à l université de Paris mardi et mercredi étudiants, professeurs, chercheurs une entreprise lundi, jeudi et vendredi je travaille dans le département Recherche et Développement ingénieurs

6 Mon travail Je fais de la recherche Lire des articles scientifiques sur le sujet -> pour savoir ce qui existe déjà -> pour trouver des idées en informatique Ecrire des programmes et utiliser des programmes qui existent déjà Mais aussi - trouver des idées - écrire des articles Assister à des conférences -> pour connaître les dernières technologies -> pour rencontrer des gens qui travaillent sur le même sujet Exécuter les programmes -c est l ordinateur qui travaille! même la nuit et le week-end

7 Mon sujet Termes techniques -> méthodes utilisées Nouveaux modèles à base de réseaux de neurones et de modèles de Markov cachés pour la reconnaissance d écriture manuscrite à large vocabulaire Sujet de recherche

8 Qu est-ce que la reconnaissance Automatique de l écriture? Madame, Monsieur, Je vous écris pour

9 Pourquoi utiliser des ordinateurs?

10 A quoi ça sert? -> Traitement automatique des chèques -> Tri automatique du courrier -> Traitement automatique de formulaires C est plus rapide et moins cher

11 A quoi ça sert? -> Traitement automatisé du courrier entrant dans les grandes entreprises par exemple, pour envoyer les courriers aux bons services Numérisation d archives < ça prend moins de place dans un ordinateur ça permet de faire des recherches plus facilement avec un ordinateur

12 L Intelligence Artificielle?

13 Ordinateur = Machine Image L Homme voit l image, reconnait que c est du texte, sait interpréter que le noir correspond à l écriture et le blanc au fond vous L Homme sait lire le texte, et sait ce que ça veut dire L ordinateur sait que c est une image et sait comment l afficher à l écran Texte L ordinateur sait que c est du texte et sait comment l afficher

14 Apprendre à lire?

15 Apprendre à lire à un ordinateur écrit reconnaissant vous documentation -> On utilise des bases de données de plus de 100,000 images + texte de mots -> L ordinateur sait traiter ces données très vite

16 Est-ce un problème facile? -> Pas évident, mais assez facile : reconnaître si c est un 0, 1, 2 = choisir une réponse parmi 10 -> Plus difficile : Les lettres sont toutes attachées ; il faut reconnaître une suite de mots parmi des milliards de possibilités

17 Est-ce un problème facile? Il faut : -> trouver les lignes de texte -> les couper en mots -> découper les mots en caractères

18 Devinette : Quelles sont ces lettres?

19 Solution : u m en -> documentation n

20 u m en n L ordinateur ne voit pas : il ne sait pas interpréter ce qui est dans l image, seulement l afficher C est difficile de découper le mot en lettres Nous allons utiliser ce que nous savons de ce problème pour construire un système facile à exécuter pour un ordinateur afin d essayer de lui faire reconnaître l écriture Chaque personne a son propre style d écriture

21 Comment faire pour que les images se ressemblent plus? Rendre l image plus nette en augmentant le constraste Chaque personne a son propre style d écriture Forcer toutes les images à avoir la même taille Faire en sorte que l écriture soit droite (et non penchée) -> Il existe aussi d autres techniques

22 L ordinateur ne voit pas : il ne sait pas interpréter ce qui est dans l image, seulement l afficher On peut utiliser notre connaissance du problème pour extraire des caractéristiques (des nombres) : -> le nombre de pixels noirs par rapport au nombre de pixels blancs -> la façon dont les pixels noirs sont organisés : en comptant combien de fois on rencontre des configurations simples Une image est composée de pixels : -> pour l ordinateur, cela correspond à un nombre, qui représente la couleur, l intensité, Les ordinateurs aiment les nombres, et savent faire beaucoup de choses avec -> on peut utiliser la valeur des pixels tout simplement Comment aider l ordinateur à interpreter le contenu de l image?

23 Comment reconnaitre les lettres dont le mot est composé? u m en n C est difficile de découper le mot en lettres On pourrait essayer de reconnaître le mot complet -> c est possible pour les chèques car il n y a pas beaucoup de mots (moins de 100) -> en général, il y a beaucoup de mots possibles (plus de 50,000), alors qu il y a moins de 100 caractères différents (A,B,C,,,a,b,c,0,1,) -> le m de maman et celui de maison se ressemblent : on veut en profiter!

24 Comment reconnaitre les lettres dont le mot est composé? u m en n C est difficile de découper le mot en lettres Nous allons lire le mot et essayer de reconnaître les lettres au fur et à mesure : On commence à gauche, et on regarde une petite partie de l image ensuite, on se déplace un petit peu vers la droite et on continue comme ça jusqu à la fin

25 Comment reconnaitre les lettres dont le mot est composé? u m en n C est difficile de découper le mot en lettres MAIS Des fois, on ne regarde qu un bout de la lettre Des fois, on regarde plus qu une seule lettre Des fois, on tombe entre deux lettres

26 u Comment reconnaitre les lettres dont le mot est composé? m en n C est difficile de découper le mot en lettres On ne va pas reconnaître directement des lettres mais plutôt des morceaux de lettres d o début p z d= milieu fin

27 u Comment reconnaitre les lettres dont le mot est composé? m en n C est difficile de découper le mot en lettres On reconnait des morceaux de lettres cela permet de reconnaître des lettres, puis des mots d v o o c

28 Comment reconnaitre les lettres dont le mot est composé? u m en n C est difficile de découper le mot en lettres d= Mon sujet Nouveaux modèles à base de réseaux de neurones et de modèles de Markov cachés pour la reconnaissance d écriture manuscrite à large vocabulaire

29 u Comment reconnaitre les lettres dont le mot est composé? m en n C est difficile de découper le mot en lettres Comment fait-on pour associer un morceau d image au bon modèle? on utilise ces nombres plutôt que l image Image Nombres 128 Souvenez-vous Extraction de caractéristiques

30 Les réseaux de neurones L ordinateur est très fort pour faire des opérations mathématiques simples Nombres on multiplie chaque nombre 5 = = = = = 3192 on obtient un nouveau nombre on additionne tous les nombres -> pourquoi fait-on cela?

31 Les réseaux de neurones -> pourquoi fait-on cela? On peut faire ça plusieurs fois, en multipliant par des nombres différents ainsi, on obtient plein de nouveaux nombres à utiliser on peut faire ça plusieurs fois, en multipliant par des nombres différents comment faire? A la fin, on veut que chaque nombre représente la probabilité d un morceau de lettre

32 Les réseaux de neurones > On commence avec des nombres au hasard -> On fait toutes les opérations -> On regarde les probabilités obtenues 798 -> On compare avec le résultat attendu On modifie les nombres par lesquels on multiplie pour augmenter les chances de trouver la bonne réponse la prochaine fois 798 c est mathématique!

33 Les réseaux de neurones Mon sujet Nouveaux modèles à base de réseaux de neurones et de modèles de Markov cachés pour la reconnaissance d écriture manuscrite à large vocabulaire

34 Les réseaux de neurones

35 Comment peut-on encore aider l ordinateur? Souvenez-vous vous L ordinateur ne sait pas que Bonjour est un mot correct et que jboonru ne veut rien dire Mais c est un problème plus simple -> On n autorise le système qu à reconnaître des mots parmi une liste de mots autorisés = un dictionnaire

36 Comment peut-on encore aider l ordinateur? L ordinateur ne comprend pas les textes, il ne sait pas que Bonjour, je suis heureux d être ici est correct alors que Bon jour Je Suisse heure eux de tri si ne veut rien dire On va construire un modèle de langue

37 Les modèles de Langue Les modèles statistiques -> Pour dire qu une phrase est correcte ou non, il faut des connaissances (vocabulaire, grammaire, compréhension de la signification de la phrase) -> Au lieu d essayer de donner ces connaissances à un ordinateur, on lui fait lire beaucoup de texte -> On utilise des outils statistiques pour l aider à se souvenir des suites de mots qu il a lu -> Ensuite, il sera capable de dire s il a vu ces mots-là, dans cet ordre-là, souvent, rarement ou jamais

38 Les modèles de Langue Les modèles statistiques Bonjour je je suis tri si suis heureux je vais Beaucoup de textes (faciles à trouver grâce à internet) On compte combien de fois on voit chaque séquence -> ensuite, on peut dire quelles séquences on voit souvent

39 Les modèles de langue 1 mot 2 mots trop de mots et et le et le moment de vous demander de de vous je vous prie de bien vouloir le je suis je suis un peu déçu de vous il est il est toujours très en retard commande 25 juin Permet de savoir quels mots sont fréquents, mais ça ne nous aide pas beaucoup pour des suites de mots (des phrases par exemple) le 25 juin 1987, la commande Permet de savoir quels mots suivent souvent d autres mots, mais ça nous aide un peu plus On verra trop rarement plusieurs fois la même suite de mots, et cela ne nous aidera pas beaucoup

40 Les modèles de langue Bonjour, je suis heureux d être ici Bon jour Je Suisse heure eux de tri si

41 Comment savoir si le système est bon? -> On utilise des bases de données publiques avec des images et le texte correspondant -> Il y a aussi des compétitions! 15 %? On compte le nombre d erreur faites par l ordinateur

42 La collaboration avec les étudiants allemands On échange des données des idées des résultats %% % des s On se rencontre régulièrement pour présenter nos résultats, échanger nos idées, parler des expériences qu on pourrait faire

43 Merci de votre attention! Théodore Bluche