CONTRÔLE AUTOMATIQUE SANS CONTACT DE PIÈCES MANUFACTURÉES

Transcription

1 CONTRÔLE AUTOMATIQUE SANS CONTACT DE PIÈCES MANUFACTURÉES Flavio Prieto*, Normand Grégoire**, Tanneguy Redarce*, Richard Lepage**, Alain Jutard*, Sylvie Doré** * Laboratoire d Automatique Industrielle, Institut National des Sciences Appliquées, 20 avenue Albert Einstein, Villeurbanne cedex, France. Tel. (33) , Fax. (33) , ** Laboratoire d Imagerie de Vision et d Intelligence Artificielle, Ecole de Technologie Supérieure, 1100 rue Notre-Dame Ouest, Montréal, Québec, H3C 1K3, Canada. Tel. (514) , Fax. (514) , RÉSUMÉ Le domaine de l inspection automatisée, indispensable pour assurer la qualité de la production, demeure une tâche de l activité manufacturière où l automatisation présente beaucoup de retard. Nous proposons dans ce papier un exemple d automatisation du contrôle tel qu il peut être effectué en intégrant ensemble des technologies de l information et de la production. INTRODUCTION Les technologies de l information façonnent les activités du monde contemporain. A cet égard, l informatique et les communications ont fait basculer l économie du Canada qui est passée d une économie basée sur la transformation des matières premières à une économie basée sur le savoir. La fabrication d objets manufacturés n échappe pas à cette tendance et de nombreux outils informatiques facilitent la conception des pièces (C.A.O.) de même que, de plus en plus, leur fabrication (F.A.O.). Ce foisonnement d outils informatiques a permis de diminuer considérablement les temps de conception et de fabrication de pièces en série. La présente décennie est caractérisée par la nécessité de mettre earché des produits de qualité et ce, rapidement. Bien que plusieurs activités de conception et de fabrication soient aujourd hui assistées par ordinateur, le domaine de l inspection automatisée, indispensable pour assurer la qualité de la production, demeure une tâche de l activité manufacturière où beaucoup d efforts doivent être déployés pour arriver au même niveau d automatisation. L inspection automatisée d objets manufacturés, telle que nous l avons définie, consiste à comparer de façon automatique leur modèle de conception avec leur image 3D obtenue avec un capteur télémétrique laser. Ce type de capteur très performant à l heure actuelle, permet d obtenir un nuage de points 3D représentant l objet analysé avec une précision de l ordre de 25 microns à raison de points par seconde. La mise en registre de ces deux représentations permet de conclure si une pièce réalisée est conforme à soodèle théorique défini lors de sa conception. La mise en correspondance est un problème difficile compliqué par la nécessité de sélectionner le boodèle dans une base de données CAO

2 de grande taille qui contient la description de toutes les pièces susceptibles de se trouver sur la chaîne d inspection. Une fois le modèle choisi et la mise en correspondance effectuée, on peut visuellement en affichant sous différentes formes les résultats, mettre en évidence les zones où il y a des erreurs (contrôle global) mais sans obtenir d'informations quantitatives ; ou alors utiliser les informations de distance entre les points de l image 3D et le modèle, obtenues après la mise en registre effectuée précédemment, pour segmenter le nuage de points en sous-ensemble représentant chacune des surfaces. Des traitements statistiques sur ces sous-ensembles vont nous permettre d obtenir des informations sur les différentes surfaces et de comparer celles-ci (les informations) avec les tolérances géométriques, de formes et de cotations, affectées à l objet lors de sa conception. L édition d un rapport de contrôle tel que ceux obtenus avec les logiciels de métrologie peut ensuite être envisagé [NEW95] [PRI98]. Afin d améliorer sensiblement le temps de réponse pour la sélection du boodèle dans la base de données, nous proposons d établir des modèles visuels, tant des modèles CAO que de l objet sous inspection. Les modèles visuels 2D obtenus sont moins précis mais beaucoup plus compacts, ce qui permettra au départ une mise en correspondance rapide des modèles visuels, permettant ensuite de sélectionner le modèle CAO le plus approprié pour le module d inspection. L architecture du système complet est présenté à la figure 1. caméra CCD 2D caméra 3D 2D géon module d inspection BD intermédiaire apprentissage CAO géon base de données CAO chaîne de montage Rapport d inspection mémoire associative Nous présentons dans ce papier la méthode utilisée pour rechercher le boodèle dans la base de données et nous détaillerons la méthode de contrôle automatique des objets. SÉLECTION DU BON MODÈLE DANS LA BASE DE DONNÉES LES GÉONS Figure 1 Architecture du projet Les géons sont définis comme les constituantes volumétriques projetées d un objet. Nous utilisons la théorie de reconnaissance par composantes de Biederman [BIE87] pour extraire de l image d entrée les composantes volumétriques projetées, les géons, et leur interrelation spatiale.

3 REPRÉSENTATION SURFACIQUE CAO -> GÉONS Le modèle CAO d une pièce mécanique décrit précisément les surfaces limites de celleci. Le module CAO géons tente d extraire les géons à partir de la description des surfaces limites. Une seule méthode d analyse a été implémentée jusqu à présent, celle de séparation sur boucles internes. La méthode consiste à identifier au préalable les boucles internes du modèle, puis à amorcer uécanisme d hypothèse qui recherche un éventuel géon à partir de la boucle interne (une boucle interne est toujours le lieu de jonction entre deux ou plusieurs géons). En cas d échec d une hypothèse, le modèle est séparé sur la boucle interne, ce qui permet de faire évoluer la connaissance de l objet. Cette technique permet actuellement de reconnaître un peu plus de 50% des géons de toutes les pièces expérimentales. Les géons manquants sont fournis grâce à l expertise humaine. EXTRACTION DES GÉONS DE L IMAGE D ILLUMINANCE La mémoire associative qui identifie les modèles CAO les plus susceptibles de correspondre à la pièce sous inspection est alimentée par les attributs de géons extraits de l image d illuminance. Nous disposons présentement d une banque d images des pièces manufacturées acquises dans des conditions variées et contrôlées d éclairage et de positions sur la chaîne de montage. Les travaux de conception des algorithmes d extraction de géons sont en cours de réalisation. MÉMORISATION ASSOCIATIVE Pour établir la correspondance entre le modèle visuel de la pièce sous inspection et les divers modèles de la base de données, nous adoptons une approche connexioniste au moyen d une mémoire associative, celle-ci recevant des représentations visuelles plus simples à manipuler. Le réseau neuronique est entraîné au moyen des représentations par géons extraites des modèles CAO de la base de données. En opération, les attributs des géons de l image de caméra CCD sont transmis à la mémoire au fur et à mesure qu ils sont extraits et cette dernière affine les sorties possibles au moyen d une analyse syntaxique et contextuelle des attributs de géons. CONTRÔLE AUTOMATIQUE Nous avons défini le contrôle automatique comme étant la comparaison entre le modèle CAO de l objet et un nuage de points 3D de celui-ci, obtenu avec un capteur 3D. Cette comparaison nous permet d évaluer les erreurs locales et globales pouvant exister entre les modèles et les pièces manufacturées. De plus, si pour obtenir une image 3D de l objet nous utilisons un capteur sans contact de type télémètre laser, à la place d une machine traditionnelle de mesure, nous obtiendrons des nuages de points beaucoup plus importants en un temps beaucoup plus court, avec l inconvénient cependant d une précision un peu moins bonne. LE CAPTEUR 3D 1 La géométrie du balayage synchronisé repose sur uiroir à deux faces qui est utilisé pour projeter et détecter un faisceau laser concentré ou collimaté (Figure 2). La source 1. Cette section ainsi que la figure sont issus du site Web de l IIT du CNRC à

4 utilisée dans les prototypes développé au CNRC est un laser habituellement couplé à une fibre optique. Le miroir de balayage et uiroir fixe servent à projeter le faisceau laser sur la scène. La lumière diffusée est recueillie par le même miroir de balayage que celui de la projection, et elle est concentrée sur un DTC linéaire (voir partie gauche de la figure). À noter que le DTC est incliné (condition de Scheimpflug) pour compenser la défocalisation à la détection [BER95]. Pour l'essentiel, la configuration illustrée sur cette figure représente un dispositif de mesure de profil. Un deuxième miroir de balayage (non illustré sur la figure) peut être utilisé pour dévier orthogonalement à la fois la lumière laser projetée et la lumière laser réfléchie, ou bien encore, un dispositif de positionnement à support mobile du commerce, comme une machine à mesurer les coordonnées (CMM) peut servir à déplacer mécaniquement l'ensemble du montage de caméra. La société Hymarc Ltd. fabrique actuellement, en vertu d'un contrat de licence, un numériseur 3D monté sur une machine CMM pour des applications de génie mécanique. C est ce type de capteur que nous avons utilisé pour nos expérimentations. Il nous permet de numériser des objets avec une précisioeilleure que 25 microns, à raison de points par seconde. Miroir fixe Lentille Source Laser CCD Miroir mobile Figure 2. Le capteur du CNRC LA MÉTHODE DE MISE EN REGISTRE Après numérisation de la pièce, nous avons deux ensembles de données, le premier est le fichier CAO issue de la conception et le second, le nuage de points 3D. Ces données étant exprimées chacune dans leur propre repère, la première opération à effectuer est donc de superposer ces deux ensembles en calculant la transformation (rotation + translation) à effectuer, c est ce que l on appelle la mise en registre. Moron [MOR95] a développé une méthode de mise en registre que nous avons utilisé dans ce travail. Celle-ci repose sur le travail bien connu de Besl et McKay [BES92], qui en 1992 ont développé une méthode générale précise et facilement implémentable de mise en registre de formes 3D, prenant en compte les surfaces gauches. La méthode est basée sur l algorithme ICP (Iterative Closest Point), qui ne nécessite qu un calcul de distance pour trouver le point le plus proche d une forme géométrique à un point donné. La transformation rigide est calculée en utilisant un quaternion-unité. Mais comme l estimation de la transformation est donnée par une distance au moindre carré, la méthode n est pas suffisamment robuste vis-à-vis des points n appartenant pas à la forme (points dus au bruit ou à la présence d autres formes dans la scène). Comme solution à ce problème, Masuda et Yokoha [MAS95], estiment la

5 transformation entre deux images de profondeur de façon robuste en intégrant l algorithme ICP avec un échantillonnage aléatoire et une estimation de la médiane au moindre carré (Least Median Square-LMS). Ils ont montré que la mise en registre entre deux images se fait avec une très grande robustesse (jusqu à 50% de points aberrants). Moron [MOR96] a implémenté un algorithme pour la mise en registre d un nuage de points 3D non-ordonnés, avec uodèle CAO au format STL ou NURBS reposant sur cette méthode. Celle-ci peut se décomposer en trois étapes principales: 1. L algorithme sélectionne de façon aléatoire Ns points 3D dans l ensemble des données et calcule une transformation rigide avec l algorithme ICP à partir de ce sousensemble. Cette procédure est répétée Nt fois. Le problème est non-linéaire et l estimateur LMS donne une solution qui n est pas forcément la meilleure, mais celle-ci est obtenue très rapidement. La probabilité de trouver une solution augmente quand Ns décroît ou Nt croît. Après chaque exécution, la qualité de l estimation de la transformation rigide est évaluée en calculant l erreur médiane au moindre carré. 2. La meilleure estimation de la transformation rigide, correspondant à la plus faible erreur médiane, est appliquée à l ensemble des points 3D ; puis l ensemble des points est segmenté en deux sous-ensembles, le premier correspondant aux points appartenant à la pièce et le second aux points aberrants. 3. Un algorithme standard ICP au moindre carré est appliqué au sous-ensemble de points appartenant à la pièce afin de trouver la transformation rigide, solution de notre problème. Pour obtenir la solution globale du problème, il est nécessaire d appliquer la méthode plusieurs fois, avec des conditions initiales différentes. Nous choisissons alors la solution correspondant à la meilleure estimation. LA SEGMENTATION DES DONNÉES 3D Pour faire le contrôle tel que nous l avons défini, il est nécessaire de connaître pour chaque objet les différentes surfaces qui le composent. Autant cela ne pose aucun problème pour le modèle CAO, autant cela est difficile avec le nuage de points 3D non-ordonné, image de l objet à contrôler. Nous avons donc développé une méthode de segmentation supervisée qui nous permet de décomposer le nuage de points originel en autant de sousensembles qu il existe de surfaces. La segmentation est faite en calculant la distance séparant chaque point du nuage 3D de toutes les surfaces du modèle CAO, définies comme surfaces paramétriques NURBS ; et en comparant certaines propriétés géométriques locales entre chaque point 3D du nuage et son point le plus proche sur la surface. Le problème du calcul de la distance point 3D / surface NURBS peut être formulé comme suit : trouver le point sur la surface paramétrique tel que la distance entre le point 3D et celui appartenant à la surface soit minimale dans la direction perpendiculaire au plan tangent au point de la surface. Le problème est alors résolu comme étant un problème de minimisation. Les propriétés locales que nous estimons sont : la normale à la surface, la courbure gaussienne et la courbure moyenne. Pour le point appartenant à la surface, ces propriétés sont estimées à partir de la surface paramétrique NURBS. Pour les points 3D, nous utilisons un polynôme paramétrique du deuxième ordre calculé avec les points du voisinage. Un point 3D est étiqueté avec le numéro de la surface dont il est le plus proche, si les propriétés locales de ce point sont similaires à celles du point appartenant à la surface. La figure 3 présente un schéma fonctionnel de la segmentation.

6 Points 3D mis en registre Modèle CAO NURBS Calcul des distances Comparaison des propriétés géométriques locales Points segmentés Figure 3. Principe de la segmentation CALCUL DE LA DISTANCE POINT 3D / NURBS Le problème de la mesure de distance d un point à une surface NURBS peut être présenté comme suit : Trouver un point dans l espace paramétrique de la surface (u 0,v 0 ) tel que la distance entre la surface Su ( 0, v 0 ) et le point r est minimum dans la direction perpendiculaire au plan tangent en ce point. La fonction à minimiser est la suivante : (, 2 ). Si on l on prend le min u0, v r s u v 0 développement en série de Taylor de la surface paramétrique suv, = (, ) + su0 ( u ) + sv0 ( v) ) avec les dérivées égales à : ( ) su 0 v 0 u AB CD Suv (, ) = u E 2 et v FB GD Suv (, ) = v E 2 où Suv) (, ), nous obtenons: A = N u i, p ( u) N jq, ( v)w i, j P i, j B = N i, p ( u)n jq, ( v)w i, j C = N i, p ( u)n j, q ( v)w i, j P i, j D = N u i, p ( u) N jq, ( v)w i, j E = N i, p ( u)n j, q ( v)w i, j F = N i, p ( u) N v j, q ( v) wi, j P i, j G = N i, p ( u) N v jq, ( v) wi, j p p N u i, p ( u) = N u i+ p 1 u i, p 1 ( u) N i 1 u i + p u i + 1, p 1 ( u) i q q N v j, q ( v) = N u j + q 1 u j, q 1 ( v) N j 1 u j+ q u j + 1, l 1 ( v) j Le problème de minimisation devient min u0, v 0 r s( u 0, v 0 ) u peut s exprimer sous forme matricielle par : où J la matrice Jacobienne de suv (, ), est égale à : 2 min u0, v Jw d Su0 ( u) + Sv0 ( v) v. Cela

7 J et w = est égal à la variation de paramétrisation. Si duv (, ) est l erreur de paramétrisation initiale de ( u t, v t ), le point le plus proche de la surface, alors duv (, ) = r S( u, v), la solution pour minimiser notre problème devient w( J T J) 1 J T d. En utilisant une procédure itérative, on peut calculer la distance d un point à une surface en uaximum de cinq itérations. PROPRIÉTÉS GÉOMÉTRIQUES LOCALES Soit P un point 3D de l image de profondeur et Q le point le plus proche appartenant à la surface. Afin de terminer le processus de segmentation, nous comparons les caractéristiques locales du point P avec celles du point Q;si elles sont suffisamment semblables alors le point P appartiendra à la surface contenant Q. Afin de déterminer les propriétés locales d un point, nous utilisons la méthode mise au point par Boulanger [BOU94]. La normale à la surface nuv (, ), la courbure gaussienne K( u, v) et la courbure moyenne H( u, v) du point ( uv, ) de la surface paramétrique η( uv, ) peuvent être estimées à partir des équations suivantes: Pour estimer les dérivées partielles premières et secondes au point P, nous utilisons un polynôme paramétrique du second ordre. Il est obtenu en utilisant un voisinage NxN, où Soit = nuv (, ), et est un point du nuage obtenu avec le capteur 3D. est le coefficient de chaque composante de η( uv, ); celui-ci est égal à zéro si i+ j> 2. En utilisant ce polynôme, les dérivées partielles au point P sont obtenues comme indiqué ici η u = a a 20 u 0 + a 11 v 0, η v = a 01 + a 11 u 0 + 2a 02 v 0, η uu = 2a 20, η vv = 2a 02, η uv = a 11, où (u o,v o ) sont les coordonnées paramétriques du centre du voisinage. Nous trouvons ces paramètres par une méthode des moindres carrés. Finalement, nous comparons les propriétés géométriques locales de Q estimées à partir des surfaces NURBS avec celles de P des données 3D issues du capteur. Soit l angle permis entre la normale à la surface et la normal aux données 3D au point P. La condition x x u v y y u v z u z v u 0 u v 0 v 2 r u ( uv, ) r v ( uv, ) r = K( uv, ) uu r u r v r vv r u r v r uv r u r = v H( u, v) = 4 r u ( uv, ) r v ( uv, ) r u r v A = ( r u r v ) r uu r u r v, B = ( r u r v ) r vv r u r v, C = ( r u r v ) r uv r u r v, D = r u r v [ abc] = a ( b c), et r u = r, et rv = r, et ruu = r, et rvv r, et ruv u v u 2 = r v 2 =. u v ruv (, ) = ( xuv (, ), yuv (, ), zuv (, )) T 2 2 η( uv, ) = a ij u i v j = Angle( N S, N r ) α tol ( h x ( uv, ), h y ( uv, ), h z ( uv, )) T où a ij N S A + B 2C D 3 doit être respectée. Soit K tol et H tol les variations acceptables N r α tol

8 de la courbure gaussienne et de la courbure moyenne, alors les conditions K S K r K tol, et H S H r H tol doivent aussi être respectées afin d étiqueter correctement le point. L INSPECTION VISUELLE Nous utilisons un capteur de profondeur sans contact (Hymarc), monté sur une machine à mesurer, qui nous permet une grande précision lors des déplacements et donc une bonne mise en registre des différentes vues afin d obtenir un nuage de points très précis. Le résultat de la numérisation est un nuage de points 3D, non-ordonnés, décrivant de façon précise les surfaces externes de l objet à contrôler. Pour une visualisation rapide des défauts de la pièce, nous avons implémenté une interface graphique simple, dont la fenêtre du menu principal est représentée à la figure 4. Une fois la segmentation effectuée, chaque point est étiqueté. Nous pouvons donc choisir chaque surface et, à partir de ce menu, nous pouvons soit effectuer un contrôle local de l objet, soit un contrôle global. Figure 4. Fenêtre du menu principal Avec le bouton intervalle de tolérance nous fixons les tolérances minimales et maximales entre lesquelles les points doivent se trouver, afin de décider si l objet est conforme au cahier des charges ou à rejeter. Après avoir fixé ces valeurs, le logiciel recherche les points dans et hors tolérance et termine par l affichage à l écran du nuage de points où ceux- ci sont représentés avec des couleurs différentes. L opérateur peut directement décider si la pièce est acceptée ou rebutée. Cette opération peut se faire soit sur la pièce au complet soit uniquement sur une ou plusieurs surfaces (Figure 5.a et 5.b). Le bouton Affic de segments permet, pour une meilleure visibilité, d afficher non pas un point, mais le segment de droite reliant le point à la surface (cette longueur dépendra de la distance séparant le modèle du nuage de points). Le bouton seuil nous permet de choisir une valeur de seuil soit positive (trop de matière), soit négative (manque de matière) et de visualiser, après calcul et affichage des points avec des couleurs différentes, les zones où il y a trop de matière ou pas assez. Comme précédemment on peut, pour améliorer la visibilité, afficher un segment.

9 Le bouton Rap Geom Globale permet d éditer un fichier où pour chaque surface de l objet nous donnons le nombre de points la composant, le nombre de points hors-tolérance, la valeur moyenne, la variance, l écart-type, la valeur minimale et la valeur maximale. Le bouton Rap Geom Locale permet d éditer un fichier où pour chaque point sont consignés la direction de sa normale, les courbure gaussienne et moyenne, ainsi que sa position dans l espace. Figure 5.a Superposition du nuage de points et du modèle Figure 5.b Surface 17 superposée au modèle CONCLUSIONS Figure 6. Exemple de rapport de contrôle Nous avons présenté dans cette communication une méthode de contrôle de pièces manufacturées. En premier lieu le système commence par effectuer une mise en registre automatique d un nuage de points 3D non-ordonnés, image d un objet, avec soodèle CAO au format NURBS. Puis une segmentation de ce nuage en surface indépendante est réalisée. A partir de cette segmentation, en donnant des valeurs de tolérance ou de seuil, nous pouvons effectuer un contrôle de la pièce à inspecter. Malgré la simplicité apparente des pièces, certaines sont intéressantes du fait de la présence de symétrie qui rendent la mise en registre délicate. En fait plus la géométrie de l objet est complexe, plus simple sera la mise en registre, car l estimation de la transformation rigide n en sera que plus aisée. La méthode de segmentation que nous avons développé est indépendante de la géométrie de l objet ; elle ne dépend que de la précision des points obtenus lors de sa numérisation et de la densité de ceux-ci. Une grande densité est nécessaire si l on veut obtenir une bonne estimation des paramètres locaux de la surface.

10 La précision de l inspection ne dépend que de la précision du capteur 3D qui numérise la pièce ;àl heure actuelle les capteurs 3D sans contact de type-télémètre laser ont une précision de l ordre de 25 microns pour les meilleurs. Nous sommes encore loin de la précision obtenue avec une machine àmesurer ;mais notre méthode de contrôle peut s appliqueràunnuagedepointsobtenuaveccetypedemachine,leseulinconvénientétant la lenteur de la numérisation. Ce travail se poursuit actuellement par le développement d une stratégie de numérisation, qui permettra d améliorer la précision des mesures, en contraignant le capteur àavoir certaine direction de prise de vue au moment de la numérisation. De plus, nousenvisageonsdetravaillersurl analysedestolérancesdeformesàpartirdespropriétés locales obtenues lors de la segmentation. REMERCIEMENTS Ce travail aété entrepris dans le cadre d un projet de recherche faisant partie d une coopérationscientifiquefrance-québec,financéeparleministèredesaffairesetrangères français et par le Ministère des Relations Internationales du Québec. BIBLIOGRAPHIE [BER95] [BES92] [BIE87] [BOU94] [MAS95] [MOR95] [MOR96] [NEW95] [PRI98] Beraldin, J.-A., El-Hakim, S.F., and Blais, F. Performance evaluation of three active vision systems built at the NRC. Proceedings of the Conference on Optical 3-D Measurement Techniques, Vienna, Austria, 1995, October 2-4, pp Besl,P.J.,McKay,N.D. Amethodforregistrationof3-Dshapes,IEEETransactionsonPattern Analysis and Machine Intelligence, vol. 14, No 2, 1992, February, pp Biederman, I. Recognition by components : A theory of human image understanding, Psychological Review, Vol. 94, 1987, pp Boulanger,P., Extractioultiéchelle d éléments géométrique, PhD Dissertation :Génie Electrique, Université de Montréal, Canada, Masuda,P.,YokohaM., Arobustmethodfortheregistrationandsegmentationofmultiplerange images, Computer Vision and Image Understanding, vol 61, N o 3, mai 1995, pp Moron, V., Boulanger, P., Masuda, P., Redarce, H.T. Automatic inspection of industrial parts using 3-D optical range sensor, SPIE Proceedings, Videometrics IV, vol. 2598, 1995, pp Moron, V., Boulanger, P., Redarce, H.T. Mise en correspondance du modèle CAO d un objet avec son image 3D :Application àl inspection, 10 ème Congrès de Reconnaissance de Formes et Intelligence Artificielle (RFIA), Rennes, janvier 1996, Vol. 2, pp Newman, T.S., and Jain, A.K. A system for 3D CAD-based inspection using range images, Pattern Recognition, vol. 28, No10, 1995, pp Prieto, F., Redarce, H.T., Lepage, R., and Boulanger, P. An automatic visual inspection system for rapid control of 3D parts, 7th European Conference on Rapid Prototyping, Paris, France, November 1998.