Lecture optique par vision industrielle

Transcription

1 Lecture optique par vision industrielle Le but du TP est d effectuer la détection et la lecture automatique de plaques d immatriculation de véhicules automobiles. Cette application est utilisée pour le contrôle d accès, le contrôle de la vitesse, la recherche de véhicules volés, la gestion du trafic autoroutier,... Le développement de cette application de vision est effectuée sur un automate de vision Vision Appliances (VA) de ipd. Un compte-rendu de TP doit être remis au professeur à la fin de la séance. Une note de TP sera attribuée en fonction des quatre critères suivants : autonomie, participation, travail réalisé (qualité des résultats obtenus), compte-rendu. Le compte-rendu devra faire apparaître les points suivants : une introduction, une réponse justifiée à chaque question, une conclusion. 1

2 1 L application La lecture automatique de plaques minéralogiques est une méthode de surveillance de masse qui utilise la technique de la reconnaissance optique de caractères sur des images pour lire les plaques d immatriculation de véhicules. L application se décompose en différentes étapes : Localisation de la plaque afin de trouver et d isoler la plaque sur l image, Orientation et dimensionnement de la plaque afin de compenser l orientation de travers de la plaque et ajuster les dimensions à la taille nécessaire, Normalisation dans le but d ajuster l intensité et le contraste de l image, Segmentation des caractères permettant de localiser les caractères sur la plaque, Reconnaissance optique de caractères. Les principales difficultés de ce type d application sont : le changement de position et d orientation des plaques sur les véhicules, une mauvaise qualité d image due à une faible résolution et due au bruit d acquisition, les ombres et les reflets générés sur les plaques, les changements de luminosité, les conditions climatiques, les saletés, les différences de caractères et de numérotation, l occultation d une partie de la plaque. La figure 1 montre une plaque d immatriculation fixée sur un véhicule. Figure 1 Un véhicule et sa plaque d immatriculation La manipulation consiste donc à lire automatiquement les plaques minéralogiques sur quatre véhicules miniatures fixés sur un disque. Ce disque est mis en rotation par un arbre moteur commandé par un variateur. Un potentiomètre permet de régler la vitesse de rotation du moteur et donc la vitesse linéaire des véhicules. Un interrupteur permet d activer le déclenchement de l acquisition soit en continu, soit au delà d une certaine vitesse. Un capteur de présence permet de détecter le passage du véhicule sous la caméra. Un interrupteur permet de déclencher la détection au delà d une certaine vitesse. Les véhicules étant en mouvement rapide, un éclairage stroboscopique direct est utilisé pour éclairer l arrière du véhicule. TP de Vision Industrielle 2

3 Le système de vision utilise une caméra monochrome de marque JAI qui est reliée à un automate de vision de marque Ipd. Le modèle utilisé est le modèle Vision Appliances VA21. Un objectif de focale f = 25 mm est montée sur cette caméra. Des voyants (vert et rouge) sont disponibles pour avertir l opérateur si nécessaire. Les dimensions des plaques apposées sur les véhicules miniatures sont : longueur, L=20 mm, largeur, l = 4,5 mm. 2 L automate de vision industrielle Vision Appliances (ipd) 2.1 Présentation du matériel Le système est constitué d un automate de vision Vision Appliances et d une caméra monochrome JAI de résolution pixels. Il existe plusieurs types d automates Vision Appliances. L automate utilisé est l automate VA21 représenté sur la figure 2. Figure 2 L automate de vision VA21 L automate de vision VA21 est un système compact (dimensions : mm, poids : 0,75 kg ) pouvant recevoir deux caméras analogiques de résolution maximale Il dispose de 26 indicateurs d état, 10 entrées configurables isolées, 8 sorties configurables isolées, 2 ports USB, 1 port Ethernet, 1 port RS232, 1 sortie VGA. Il est alimenté en 24 V 1 A. Il utilise un système à microprocesseurs avec 256 Mo de mémoire et 1 Go de mémoire Flash et intègre le système d exploitation Windows XP embarqué. Il ne requiert aucune installation logicielle puisque 3 logiciels d application sont installé : inspect, ilabel et Sherlock 7.0. La caméra utilisée est une caméra JAI CV A11. C est une caméra CCD industrielle monochrome progressive possédant un capteur 1/3 de pouce de résolution pixels et de fréquence image F = 30 img/s (norme RS170). 2.2 Présentation du logiciel Les applications développées sur le VA21 sont paramétrées, configurées et programmées à l aide du logiciel Sherlock (voir figure 3). TP de Vision Industrielle 3

4 Figure 3 Le logiciel Sherlock L ouverture de ce logiciel donne accès à différentes fenêtres et onglets : une fenêtre image contenant l image acquise (ou ouverte), un onglet Program contenant les outils de traitement d image utilsés (voir figure 3), un onglet Instructions donnant accès à l ensemble des instructions (voir figure 4), un onglet Variables permettant de créer de nouvelles variables pour le programme(voir figure 5), un onglet Watch permettant de visualiser le contenu des variables souhaitées, un onglet Monitor indiquant l état du programme (voir figure 6). Les instructions de cet onglet ne sont pas des outils de vision industrielle. TP de Vision Industrielle 4

5 Figure 4 onglet Instructions Figure 6 Onglet Monitor Figure 5 Onglet Variables 3 Travail à effectuer Les outils qui vont être mis en oeuvre concernent : l acquisition des images, la détection de la plaque d immatriculation dans l image, la création d une région d interêt relative à la plaque détectée, la normalisation de la plaque détectée, l apprentissage des caractères et la lecture de la plaque d immatriculation, TP de Vision Industrielle 5

6 l activation des sorties et le comptage des véhicules, la création d une interface Homme-Machine. 3.1 Configuration Un projet Sherlock s appelle une investigation. Question 1 Après avoir ouvert Sherlock, une nouvelle investigation est créée. Par défaut, l automate est connecté avec le système (bouton vert activé dans la fenêtre image) et procède à des acquisitions déclenchées au rythme d une horloge interne pour alimenter le stroboscope, ce qui permet le réglage de la caméra. Déconnecter l automate du système en activant le bouton rouge de la fenêtre image. Enregistrer votre projet et indiquer sur votre compte-rendu le nom et l emplacement de ce projet. 3.2 Acquisition L ouverture d une investigation ajoute automatiquement la fonction ÁÑ Ï Ò ÓÛ (voir figure 7) ainsi que la fenêtre image permettant de visualiser cette image. Figure 7 La fonction ÁÑ Ï Ò ÓÛ TP de Vision Industrielle 6

7 Question 2 Editer la fonction ÁÑ Ï Ò ÓÛ et modifier les paramètres de façon à ce que l acquisition se déclenche sur un capteur (trigger) externe. Mettre l investigation en ligne et visualiser les images des différents véhicules. Indiquer sur votre compte-rendu les paramètres modifiés. 3.3 Détection de la plaque Avant d insérer les outils de traitement, il est nécessaire de définir une région d interêt (ROI : Region of Interest) à l aide de la barre d outils de la fenêtre image. C est cette ROI qui sera ensuite traitée. Question 3 Insérer une ROI de forme rectangulaire dans la fenêtre image qui possède la même taille que l image. Pour cela, choisir le menu permettant d adapter la taille de la ROI à celle de l image. Indiquer sur votre compte-rendu la taille de la ROI ainsi créée. Après avoir créée la ROI, il est possible d éditer celle-ci afin de lui assigner, soit des fonctions de traitement d image (ÈÖ ÔÖÓ ÓÖ ), soit des algorithmes d analyse d image ( Ð ÓÖ Ø Ñ ). La figure 8 illustre ces possibilités. Figure 8 Fonctions accessibles depuis une ROI Dans un premier temps, il est nécessaire d isoler les pixels correspondant au fond de la plaque d immatriculation afin de détecter ensuite celle-ci. Ce fond étant très lumineux et très contrasté des autres éléments de la plaque, cette opération peut être effectuée par binarisation. TP de Vision Industrielle 7

8 Question 4 Après avoir éditée la ROI créée, réaliser une binaristion de celle-ci en pré-traitement (fonction Ì Ö ÓÐ dans ÈÖ ÔÖÓ ÓÖ ) afin d obtenir une région (appelée blob : ensemble de pixels connexes) propre à la plaque et valider votre réglage sur les quatre images de la séquence. Ajuster le seuil de façon à obtenir un seul blob correspondant à la plaque et de telle sorte que le blob correspondant à la plaque ne soit JAMAIS connecté à d autres éléments du véhicule SANS se soucier de l apparence des caractères à ce stade du programme. Indiquer sur votre compte-rendu, la valeur du seuil de binarisation choisi. L opération précédente fait apparaître dans l image plusieurs blobs dont celui correspondant au fond de la plaque d immatriculation qu il est maintenant nécessaire de détecter. Pour cela, il est possible d utiliser un algorithme d analyse de connexité (fonction ÓÒÒ Ø Ú ØÝ ¹ Ò ÖÝ dans Ð ÓÖ Ø Ñ ) qui recherche tous les blobs contenus dans une image binaire et retient ceux répondant à différents critères. Pour chaque blob présent dans l image, le nombre de pixels constituant le blob (paramètre Ö ) ainsi que la largeur (paramètre Û Ø ) et la hauteur (paramètre Ø) de la boite encadrant le blob (appelée ÓÙÒ Ò ÓÜ) sont calculés. Les blobs ainsi détectés sont triés selon un critère et un ordre défini par l utilisateur. La figure 9 montre les paramètres de la fonction d analyse en composantes connexes. Les critères de sélection des blobs présents dans l image sont les suivants : Ð ÐÓ : spécifie le type de blob analysé (noir ou blanc), Û Ý : défini le type de voisinage pour l analyse de connexité (8-voisins ou 4-voisins), Ñ Ò Ö et Ñ Ü Ö : spécifie les surfaces minimum et maximum des blobs à retenir, Ñ Ò Û Ø et Ñ Ü Û Ø : spécifie les largeurs minimum et maximum des fenêtres encadrant chaque blob à retenir, Ñ Ò Ø et Ñ Ü Ø : spécifie les hauteurs minimum et maximum des fenêtres encadrant chaque blob à retenir. TP de Vision Industrielle 8

9 Figure 9 Paramètres de la fonction d analyse en composantes connexes Les blobs ainsi retenus peuvent être triés selon un ordre (paramètre Ò Ð ÓÖØ Ò et paramètre Ò Ò ) et un critère (paramètre ÓÖØ Ò Ö Ø Ö ) définis. Le paramètre Ñ Ü Ö ØÙÖÒ permet de spécifier le nombre de blobs à sélectionner parmi ceux retenus. Le paramètre Ò Ð ÑÓÑ ÒØ¹Ö Ð Ø ÐÙÐ Ø ÓÒ permet d autoriser le calcul de mesures supplémentaires sur chaque blob sélectionné. Ces mesures permettent notamment de donner une estimation de l angle, de la hauteur et de la largeur de chacun des blobs sélectionnés et seront très utiles dans le suite de l analyse. Question 5 Afin de détecter le blob correspondant à la plaque dans l image binaire précédente, ajouter l algorithme d analyse de connexité et paramétrer cette fonction de façon à détecter un seul et unique blob. Ajuster et valider vos paramètres en testant votre algorithme en-ligne sur l ensemble des véhicules. Indiquer sur votre compte-rendu les valeurs choisies pour chacun des paramètres de cet outil. Dans un tableau, indiquer pour chaque véhicule, la valeur de la surface du blob correspondant à la plaque d immatriculation ainsi que la largeur et la hauteur de la boite encadrant ce blob. La fonction précédente permet de détecter plusieurs blobs dans une image binaire en fonction de différents critères et renvoie donc des résultats (readings) sous forme de tableau (même si un seul blob est détecté). Chaque indice du tableau correspondant à un blob détecté avec l indice 0 correspondant au blob classé en premier dans le tableau après le tri. Ainsi, nous disposons, comme résultats de l analyse, de différents tableaux, chacun correspondant à une mesure particulière sur les blobs détectés et sélectionnés (centre de gravité, surface, angle,...) Pour obtenir une valeur d un tableau en particulier, il est possible d utiliser les fonctions des familles TP de Vision Industrielle 9

10 ÖÖ Ý dans l onglet instructions. La famille de fonctions à utiliser dépend du type des données contenues dans le tableau (numérique, booléenne, coordonnées de points,...). En particulier, la fonction Ø Ø, permet d extraire d un tableau, une valeur d indice souhaité. Question 6 Extraire les variables correspondant au centre de gravité (données de type point), à l angle, à la longueur de l axe principale d inertie et à la longueur du second axe d inertie (données de type numérique) du blob correspondant à la plaque et ajouter les dans l onglet watch. Visualiser et relever les valeurs des variables précédentes pour chacun des véhicules. Indiquer sur votre compte-rendu ces valeurs dans un tableau et conclure. 3.4 Orientation et dimensionnement de la ROI Maintenant que les dimensions et l orientation de la plaque sont déterminées, il est nécessaire d ajuster celle-ci de sorte que les caractères soit recalés correctement et remis à la même échelle pour ensuite faciliter leur lecture. L image ayant déjà été pré-traitée, il n est pas possible d obtenir les niveaux de gris initiaux des pixels. C est pourquoi il est nécessaire de copier l image dans une autre fenêtre. Question 7 Créer une nouvelle fenêtre image grâce à la fonction ÁÑ Ï Ò ÓÛ accessible depuis le menu de l onglet Program et paramétrer cette fonction de façon à y copier l image acquise par la caméra (attention au type d image : monochrome 8 bits et attention à ne pas partager le même buffer). Pour lire la plaque d immatriculation, il est nécessaire de créer une ROI centrée sur le blob détecté précédemment et dans laquelle l image sera remise à la même échelle. Pour cela, il est possible de créer un repère dont l origine est le centre de gravité de la plaque d immatriculation. Ainsi, dès que la position de la plaque change en translation dans l image, le repère reste centré sur cette plaque. La création d un repère (Alignement) est réalisé dans l onglet Alignment de la fenêtre d édition de la fonction ÁÑ Ï Ò ÓÛ. Pour être créé, il est nécessaire de spécifier un ou plusieurs points selon les mouvements de l objet à considérer dans l image. Ici, on considère que les mouvements de la plaque se font uniquement en translation, ce qui nécessite de spécifier un seul point qui est le centre de gravité de la plaque. Dès qu un repère est créé, il est possible de positionner toute nouvelle ROI par rapport à ce nouveau repère. Pour cela, il suffit de sélectionner le repère ainsi créé dans l onglet Properties de la ROI à positionner. Question 8 Créer un repère dont l origine est le centre du blob correspondant à la plaque d immatriculation détecté précédemment. A partir d une image de référence, positionner une ROI centrée sur la plaque d immatriculation de taille environ deux fois supérieure à la taille de cette plaque. Puis dans l onglet Properties de la ROI ainsi créée, sélectionner le repère créé précédemment afin que cette ROI se positionne par rapport à la plaque détectée. Vérifier ce recalage pour chacun des véhicules et ajuster votre réglage si nécessaire. En fonction de la position du véhicule, la plaque d immatriculation peut subir de légers mouvements de rotation autour de l axe optique qu il est possible de corriger grâce à la mesure d angle effectuée précédemment. Pour cela, une rotation d angle opposé à l angle mesuré sera appliquée à la ROI grâce à la fonction TP de Vision Industrielle 10

11 ÊÓØ Ø dans ÈÖ ÔÖÓ ÓÖ. Cette fonction accepte comme entrée une constante mais aussi une variable. La fonction Æ Ø disponible dans la catégorie ÆÙÑ Ö de l onglet instructions permet de calculer l opposée d une valeur. Question 9 Dans les prétraitements de la ROI créée précédemment, effectuer une rotation (fonction ÊÓØ Ø dans ÈÖ ÔÖÓ ÓÖ ) de l image avec un angle opposé (sortie de la fonction Æ Ø ) à celui déterminé lors de la détection du blob correspondant à la plaque. Tester votre rotation sur chacun des quatre véhicules. L inclinaison de la plaque d immatriculation par rapport au plan image de la caméra peut également varier en fonction du profil de l arrière du véhicule et de la position de celui-ci devant la caméra. Afin de rendre à chaque plaque ses bonnes proportions et afin d augmenter la résolution des caractères inscrits sur la plaque, une mise à l échelle est effectuée grâce à la fonction ÓÓÑ dans ÈÖ ÔÖÓ ÓÖ. Les facteurs d échelle à appliquer horizontalement (noté Z x ) et verticalement (noté Z y ) dépendent des mesures de longueur (notée l x ) et de largeur (notée l y ) du blob correspondant à chaque plaque et effectuées précédemment. Afin de conserver les proportions de chaque plaque, les facteurs d échelle seront ajustés de telle sorte à ce que la longueur L x de la plaque corresponde toujours à 400 pixels et que sa largeur L y corresponde toujours à 90 pixels : l x Z x = 400 l y Z y = 90 Pour calculer Z x et Z y, il est donc nécessaire d effectuer une division. Cette opération est réalisée grâce à la fonction Ú disponible dans la catégorie ÆÙÑ Ö de l onglet instructions. Question 10 Dans les prétraitements de la ROI créée précédemment, effectuer une augmentation ainsi qu une normalisation de l échelle (fonction ÓÓÑ dans ÈÖ ÔÖÓ ÓÖ ) de l image afin que les caractères soient tous à la même échelle et avec une résolution suffisante après avoir calculé les facteurs d échelle adéquats (sortie de le fonction Ú ). Tester votre changement d échelle sur chacun des quatre véhicules. 3.5 Normalisation de la ROI Afin de rendre plus efficace la lecture des caractères, il est nécessaire d obtenir une image de la plaque invariante aux conditions d acquisition. Il faut donc appliquer des traitements permettant d obtenir une image de la plaque qui soit normalisée. Cette normalisation devra conduire à une image binaire dans laquelle les caractères apparaissent bien distinctement en noir et sont nettement séparés les uns des autres. Question 11 Mettre en oeuvre les prétraitements qui semblent nécessaires ( Ò ¹ Ç Ø, Ì Ö ÓÐ ÔØ Ø Ú,...) afin d obtenir des caractères les plus lisibles possibles et qui possèdent des caractéristiques les plus proches possibles (taille, forme, niveaux de gris). 3.6 Lecture de la plaque Afin de lire la plaque, la fonction Ö Ý Ð Ç Ê est utilisée. Il s agit d une fonction qui utilise uniquement l information des niveaux de gris pour effectuer la lecture alors que la fonction Ç ÊÔÐÙ TP de Vision Industrielle 11

12 utilise aussi les contours. La lecture de caractères s effectue en deux étapes : l apprentissage des caractères (voir figure 10) et la reconnaissance (voir figure 11). Figure 10 Apprentissage des caractères Figure 11 Paramètres de reconnaissance des caractères Question 12 Charger la police de caractères déjà apprise nommée ÈÓÐ ºÓ dans le dossier Mes documents. Effectuer la lecture sur les différents véhicules et ajuster les paramètres de reconnaissance afin d obtenir les meilleurs résultats possibles. Indiquer dans votre compte-rendu les valeurs des paramètres modifiés et conclure sur cet algorithme. 3.7 Activation des sorties Question 13 Activer le voyant rouge (sortie OUTPUT 0) si le numéro de la plaque se termine par 62 et le voyant vert (sortie OUTPUT 1) si il se termine par Amélioration des résultats Question 14 Afin d améliorer les résultats obtenus : Modifier les prétraitements. Réaliser un nouvel apprentissage des chiffres entre 0 et 9, puis des voyelles A, E, I, O, U, et Y. Traiter séparément la lecture des chiffres et la lecture des lettres (enregistrer deux polices différentes) et concaténer l ensemble des caractères lus (avec gestion des espaces) pour former une seule chaîne de caractères. TP de Vision Industrielle 12

13 3.9 Interface Homme-Machine Afin d afficher certaines informations à l écran, il est possible d utiliser des fonctions d affichage. La couleur C du texte est alors définie par un paramètre qui est fonction des quantités de rouge (R), de vert (V ) et de bleu (B) souhaitées par la relation : C = R+256 V B où R, V et B appartiennent à l intervalle[0,255]. Question 15 Déclarer une variable "Compteur" qui s incrémente à chaque passage de véhicule et afficher sa valeur dans la fenêtre image. Afficher le numéro de la plaque dans la fenêtre image ainsi que les autres informations et graphiques qui vous semblent nécessaires Eclairage continu On souhaite comparer l éclairage stroboscopique à un éclairage continu. Question 16 Acquérir et enregistrer les images des 4 véhicules sous éclairage stroboscopique avec différentes vitesse de déplacement des véhicules. Après avoir désactivé l éclairage stroboscopique et branché l éclairage continu, effectuer à nouveau l acquisition des images des 4 véhicules aux mêmes vitesses que précédemment, enregistrer ces images et comparer les deux systèmes d éclairage. TP de Vision Industrielle 13