Pierre Mallet Hervé Le Masne. PROJET WAD (Wheelchair Attractor Dynamics)

Pierre Mallet Hervé Le Masne PROJET WAD (Wheelchair Attractor Dynamics) Aide à la navigation en fauteuil roulant électrique en environnement domestique non cartographié. Compte rendu de fin de recherche d opération d une recherche financée par le ministère de la recherche DATE : Mars 2007 Décision d aide n 04 T 573 Nom de l organisme bénéficiaire : Centre National de La Recherche Scientifique Délégation Régionale Provence CNRS DR12 31 Chemin Joseph Aiguier 13402 Marseille cedex 20 En concertation avec HMC2 Développement Convention 04 T 577 Nom du responsable scientifique : Pierre Mallet Nom du Laboratoire : UMR Mouvement et Perception Adresse : Faculté des Sciences du Sport 163, Avenue de Luminy 13288 Marseille Numero d identification Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 1

RESUME Le présent projet vise à développer en tant que produit industriel une assistance individuelle au déplacement en fauteuil roulant électrique en environnement domestique, et ce, à partir d un prototype de recherche existant. Ce prototype de fauteuil intelligent utilise la théorie des systèmes dynamiques non linéaires avec pour contraintes de navigation l atteinte d un lieu spécifié par le pilote et l évitement des obstacles. Le modèle de navigation est basée sur des informations de distance aux obstacles environnant et de position et orientation courantes du véhicule. Ces informations sont acquises en temps réel au moyen de capteurs embarqués. Le dispositif complet, constitué de l architecture de commande et de l interface homme machine a été intégré en tant que module optionnel au produit Topchair, conçu développé et commercialisé par l entreprise HMC² Développement. Le produit Topchair est un fauteuil roulant électrique standard qui est de plus muni d un système de chenilles lui permettant de monter et descendre un escalier et d évoluer en terrain difficile. Mots clés : fauteuil roulant électrique, système dynamique non linéaire, système Topchair Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 2

TABLE DES MATIERES 1 Système WAD 2 Produit Topchair 3 Intégration des deux produits 3-1 Architecture matérielle 3-1-1 Choix des capteurs de proximité infrarouge 3-1-2 Positionnement des capteurs de proximité infrarouge 3-1-3 Codeurs incrémentaux 3-1-4 Localisation absolue par stéréovision 3-1-5 Interfaçage avec le bus DX de Dynamics 3-2 Mode «atteinte de destination en mode automatique» 3-3 Mode «évitement d obstacles marié au pilotage manuel» 4 Etude de marché 5 Brevet 6 Conclusion et Perspectives 7 Annexe 1 : Simulations 3D pour optimisation de la position sur TopChair des capteurs de proximité infrarouge situés au niveau du sol. 8 Annexe 2 : Rapport d étude URATEK «Dispositif d aide à la navigation en fauteuil roulant par vision artificielle» 9 Annexe 3 : Interface Série / USB avec le bus DX de Dynamics Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 3

1 Système WAD 1-1 Historique et genèse du projet : Le projet s inscrit dans une démarche de valorisation des travaux de recherche fondamentale dans le domaine de la robotique mobile autonome à partir de 1995, puis dans le domaine de la robotique d assistance à partir 2000 et ce au Centre de Recherches en Neurosciences Cognitives (CNRS, Marseille). L ANVAR soutient alors financièrement le projet à hauteur de 100 000 F dans le cadre d une aide à l innovation. De Août 2004 à Juillet 2005 la Fondation MAAF Assurances soutient financièrement également le projet sous forme de don (20 000 ) En Janvier 2005 un contrat de collaboration de Recherche est signé pour une période de 2 ans, entre l industriel HMC2 Développement, le CNRS et l Université de La Méditerranée dans le cadre de l appel d offres «Technologies pour le Handicap» de Juin 2004. Cette collaboration vise à transférer les résultats du projet WAD sur le véhicule Topchair (Fauteuil roulant électrique doté de la fonction montée et descente des escaliers) En juillet 2005 une évaluation en milieu clinique (Centre Saint Thys Marseille) est menée auprès d enfants IMC. C est le produit atteinte de destination en mode automatique qui est évalué. Figure 1 Prototype WAD Atteinte de destination en mode automatique : ce produit s adresse à des personnes en situation de handicap moteur et qui ne peuvent plus manipuler un joystick. Leur tâche consiste à définir au moyen d une interface homme machine personnalisée les lieux de départ et d arrivée de leur déplacement dans leur domicile. Le déplacement entre ces points de départ et d arrivée se fait de manière automatique au moyen de capteurs de proximité infrarouge et de codeurs incrémentaux embarqués. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 4

Vidéos de démonstration du prototype à l adresse : http://serveur.laps.univ-mrs.fr/~mallet/smartwheelchairproject2.html La réussite à l édition 2006 dans la catégorie «émergence» du concours OSEO ANVAR permet de financer une étude de marché, une double formation IRCE (Créer et Cap Innov) ainsi qu une étude de faisabilité technique. Durant le premier semestre 2006 le second produit évitement d obstacles «marié» au pilotage manuel est développé au sein de l UMR Mouvement et Perception grâce aux nouvelles ressources du Centre de Réalité Virtuelle. Ce second produit s adresse à des personnes en situation de handicap moteur qui peuvent manipuler un joystick. Mais, en raison de l évolution de leur pathologie, ou en raison du type même de leur pathologie, leur commande motrice volontaire est ralentie. Par exemple leur poignet reste crispé sur le joystick à l approche d un obstacle de type mur, et leur vitesse de réaction est insuffisante pour éviter le choc. Dans ce cas l assistance, qui utilise des capteurs de proximité embarqués, force un évitement tout en conservant de manière graduée le souhait de direction du pilote au fur et à mesure que le danger s éloigne. Conformément aux résultats de l étude de marché menée par le cabinet Ernst & Young, une recherche d antériorité a été confié au cabinet Novagraaf dans le courant du mois de Janvier 2007 et un dépôt de brevet auprès de l INPI a été effectué le 9 Mars 2007 relativement à ce second produit. 2 Produit Topchair Le fauteuil TopChair est un fauteuil roulant électrique qui a la particularité de pouvoir monter et descendre les escaliers grâce à son système de chenilles installées sous le fauteuil. Ce dernier peut passer d un mode Route (mode d un fauteuil roulant classique) à un mode escalier (sur les chenilles) grâce à une combinaison d actionneurs (vérins électriques) (figure 2) Siège Vérin train avant Vérin train arrière Train avant Vérin siège Figure 2 Train arrière Ces vérins permettent donc de rentrer les trains avant et arrière et donc de se retrouver en configuration chenilles (figure 3) Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 5

Figure 3 Une fois dans cette configuration, le fauteuil peut gravir les escaliers. Un joystick permet à l utilisateur de choisir sa direction de déplacement. Ce dernier délivre une commande en puissance pour les moteurs DC. Pour permettre l automatisation de ce fauteuil, une carte électronique gère donc la commande des vérins et dérive la puissance envoyée par le joystick sur les moteurs des roues ou des chenilles (en fonction du mode choisi). Des capteurs infra rouges sont positionnés à divers endroits du fauteuil. Ils permettent de détecter les marches d escaliers dans les différentes situations (figures 4) afin d automatiser le fauteuil (rentrée, sortie des trains avants/arrières). Détection à la montée Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 6

Détection à la descente Figures 4 Figures 5 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 7

De plus, afin de garantir la stabilité de l utilisateur dans les escaliers, le siège est maintenu en position horizontale dans les escaliers (figure 6). Des accéléromètres (1 sur le châssis et 1 sur le siège) sont ainsi utilisés pour mesurer l angle que fait le siège par rapport au châssis du fauteuil. Figure 6 Le fauteuil fait partie de la liste des produits et prestations remboursables (LPPR), il est fabriqué par la société HMC² DEVELOPPEMENT à Albi (81). Ce fauteuil est commercialisé au prix public de 12 200 TTC. Un fauteuil est déjà en service chez une cliente Belge et des partenariats avec des distributeurs de matériel médical sont en cours. Figure 7 Figure 8 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 8

3 Intégration des deux produits 3-1 Architecture matérielle Architecture du Système WAD Master Neurosciences - Spécialité Neurosciences Intégratives et Cognitives - Cours de Robotique P.Mallet V_06 Figure 9 48 Le système de base de commande d un fauteuil roulant électrique traditionnel comprend un joystick qui délivre via un bus série (bus DX dans le cas du constructeur INVACARE) des commandes de vitesse linéaire et angulaire à un module de puissance responsable de la gestion des commandes de motorisation. Le système d aide à la navigation de type «WAD» utilise pour percevoir l environnement des capteurs de proximité infrarouge, et pour se localiser des codeurs incrémentaux disposés sur chacune des roues motrices. L ensemble des informations capteurs renseignent le modèle de navigation pour calculer des commandes de vitesse linéaire et de vitesse angulaire. En mode automatique d atteinte de destination ces commandes calculées remplacent les commandes manuelles. En mode évitement d obstacles «marié» au pilotage manuel ces commandes calculées se superposent de manière graduée aux commandes manuelles. C est l interface Série / USB au bus DX qui permet de mélanger les commandes manuelles et calculées. Le prototype WAD marseillais ayant été développé autour du système DX du constructeur INVACARE, c est avec ce système que s est faite l intégration du système WAD sur le produit Topchair. De futurs développements seraient donc nécessaires pour rendre l installation du système d aide à la navigation indépendant des systèmes de commande (joystick, bus et module de puissance) développés par les différents constructeurs (Invacare, Permobyl, Meyra, etc.) Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 9

Sortie analogique en Volts Sortie analogique en Volts 3-1-1 Choix des capteurs de proximité infrarouge Différentes études comparatives menées au sein de HMC2 Développement entre capteur de proximité infrarouge de type «WAD» et capteur de proximité infrarouge Sharp ont permis de faire le choix du modèle Sharp (Réf GP2Y0A02YK, distance de détection de 20 à 150 cm) 3,5 3 2,5 2 Capteur Sharp Réf GP2Y0A02YK tissus blanc carton moquette noire mousse noire cuir noir plastique jaune plastique bleu sweat gris métal troué 1,5 1 0,5 0 15 20 30 40 50 60 70 80 90 100 110 120 130 140 150 Distance à l'obstacle en cm 5 Capteur de type "WAD" 4,5 4 3,5 3 2,5 tissus blanc carton moquette noire mousse noire Métal troué cuir noir plastique jaune plastique bleu sweat gris 2 1,5 1 0,5 0 15 20 30 40 50 60 70 80 90 100 110 120 130 140 150 Distance à l'obstacle en cm Figures 10 Outre cette indépendance de la réponse du capteur Sharp à la texture de l obstacle détecté, les autres avantages sont un faible encombrement, son prix (7 par 1000 pièces), la simplicité de son utilisation en Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 10

raison de l intégration dans le composant de l électronique de commande pour l émission et le traitement de la réception infrarouges. Figure 11 : modèle Sharp Réf GP2Y0A02YK Néanmoins, la non monotonie de leur caractéristique tension de sortie distance à l obstacle, ainsi que le faible demi angle au sommet de leur cône d émission réception, limitent l utilisation du modèle Sharp. Figure 12 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 11

Tension (V) Tension (V) Capteur SHARP GP2Y0A02YK Mesure demi angle au sommet dans plan horizontal objet à 50cm objet à 80cm 1,2 1 0,8 0,6 0,4 0,2 0-45 -40-35 -30-25 -20-15 -10-5 0 5 10 15 20 25 30 35 40 45 Distance à l'axe (mm) Capteur SHARP GP2Y0A02YK Mesure demi angle au sommet dans plan vertical objet à 50cm Objet à 80cm 1,2 1 0,8 0,6 0,4 0,2 0-45 -40-35 -30-25 -20-15 -10-5 0 5 10 15 20 25 30 35 40 45 Distance à l'axe (mm) Figures 13 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 12

3-1-2 Positionnement des capteurs de proximité infrarouge Plusieurs configurations ont été mises en œuvre par HMC2 Dévelopement à Albi, au fur et à mesure du développement du projet. Elles s appuient sur des résultats de simulations 3D, en environnement virtuel sous Virtools, qui ont été menées à Marseille (cf Annexe 1) La première configuration comprenait dans son projet initial 28 capteurs. Sur l avant, à gauche et à droite, deux groupes de sept capteurs chacun assurent la perception dans la direction du déplacement en marche avant. Les directions de visée proches de l axe médian du véhicule se chevauchent, afin d assurer une meilleure perception de l environnement dans la direction de déplacement. Cette répartition est proche de celle utilisée sur le prototype «WAD» développé à Marseille. Sur l avant du véhicule encore il avait été imaginé de placer 4 capteurs responsables de la détection des bords de table. Compte tenu de l étroitesse du faisceau des capteurs Sharp ( 5 degrés d angle solide cf fig 13), les faisceaux de ces 4 capteurs devaient être croisés de manière à assurer une meilleure détection. La mise en œuvre de ces «détecteurs de bord de table» n a pas été réalisée ce qui a ramené à 24 le nombre total de capteurs finalement utilisés dans la première configuration illustrée par les figures 14. Figures 14 La mise en œuvre par HMC2 Développement de cette première configuration est illustrée çi dessous. Elle tient compte notamment de la mobilité du train avant du véhicule Topchair qui peut s abaisser sur les chenilles pour les phases de montée et descente d un escalier. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 13

Figure 15 : Groupe de 7 capteurs à l avant gauche Figure 16 : Les 2 groupes de 7 capteurs à l avant du véhicule Figure 17 : Répartition des directions de visée pour les 7 capteurs situés à l avant droit du véhicule Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 14

Figure 18 : Un groupe de 3 capteurs latéraux Figure 19 : Les 2 groupes de capteurs à l arrière du véhicule L idée d une motorisation en azimut et en élévation de ces capteurs de proximité a fait l objet du stage de Mai à Juin 2005 de Messieurs Olivier Dahon et Stephane Gonauer, élèves de 2 ème année à l Ecole Nationale Supérieure des Mines de Saint Etienne. Pour des raisons de simplicité et de fiabilité cette idée n a finalement pas été mise en œuvre sur le véhicule Topchair. Dès la fin du mois de Mai 2006, les premiers essais en statique et en mode manuel (commande au joystick) ont permis de valider cette première configuration spatiale des capteurs pour des détections d obstacles de type boite en carton située vers l avant du véhicule sur la droite (cf Fig 20) ou vers l avant sur la gauche comme illustré par la figure 21. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 15

Figure 20 Figure 21 L étude en dynamique du comportement atteinte de destination en mode automatique s est faite suivant le protocole expérimental suivant : Le véhicule doit passer par une première destination (cible 1) sans s arrêter, puis se diriger vers une deuxième destination (cible 2) près de laquelle il doit stopper son mouvement. Le critère d arrêt sur cette seconde destination se fait en comparant à chaque cycle la distance séparant la position courante du véhicule de la position de la cible 2. Un passage de porte de largeur 90 cm sépare les deux destinations. La position initiale du véhicule ainsi que les positions des deux destinations sont fixes et les obstacles disposés au sol sont constitués de boites en carton. La scène est toujours la même, seuls les paramètres du modèle de navigation sont manipulés afin d observer un comportement du véhicule ayant les caractéristiques suivantes : Un passage sans trop d oscillations d une porte de largeur 0.90 m et sous une incidence quelconque. Une absence de collisions, notamment lors du passage de la porte Une atteinte de la destination finale Cible 1 2m50 0.9m 4m 4m Cible 2 2m50 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 16

Figure 22 En incidence non normale, le passage de porte est difficile à réaliser en raison essentiellement de la caractéristique (tension de sortie distance à l obstacle) non monotone des capteurs sharp. Une première solution imaginée par HMC2 Développement a consisté à placer en retrait vers l axe médian du véhicule, les 3 capteurs à visée latérale de chacun des groupes de 7 capteurs situés à l avant droit et gauche du véhicule. Cette nouvelle configuration est illustrée par les figures 23 et 24. Figure 23 Ainsi placés en retrait, ces 6 capteurs (n 0, 1, 2 sur la gauche et 11, 12, 13 sur la droite) détectent des distances aux obstacles normalement toujours supérieures à la distance critique de 20 cm environ, qui est le point de rebroussement sur la caractéristique tension de sortie distance des capteurs Sharp (cf Figure 12, page 11) La figure 24 montre les détails du modèle géométrique retenu pour faire les expérimentations sur le véhicule Topchair. Chaque capteur est repéré par ses coordonnées relatives au centre de rotation du véhicule. Les directions de visée des capteurs sont quant à elles repérées par rapport à l axe médian du véhicule. Les vidéos des 10 et 14 Novembre 2006, jointes au présent rapport, illustrent l utilisation de cette configuration de capteurs dans le mode «d atteinte automatique d une destination». Malgré certaines «déformations» du modèle de navigation lui enlevant d ailleurs sa généricité, malgré une marche arrière «automatique» (cf vidéo 14), mise en route à proximité de la distance critique de 20 cm, certains passages de porte restent impossible. Le mode «évitement d obstacles marié au pilotage manuel», détaillé au paragraphe 3-3, a permis de contourner cette difficulté. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 17

Figure 24 3-1-3 Codeurs incrémentaux L association d un codeur incrémental (Modèle GTZ4 de chez BEI : 1024 points, diamètre 40 mm, alimentation 11 à 30 V, driver push pull) à une roue de faible diamètre roulant sur le pneu de la roue motrice a finalement été retenue. La résolution théorique est le mm. Les deux codeurs sont placés à l intérieur des bras (creux) qui assurent la montée et la descente du train de roues arrière. (cf fig 25) Figure 25 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 18

Déplacement en Y (m) Les figures 26 et 27 illustrent le protocole de test et de calibration des codeurs incrémentaux Figure 26 Yrobm trajet au sol 0,5 0-1 -0,5 0 0,5 1 1,5 2 2,5 3 3,5-0,5-1 -1,5-2 -2,5-3 -3,5 Déplacement en X (m) Figure 27 Le traitement des signaux en sorties des codeurs se fait au moyen du circuit spécifique HCTL 2032. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 19

Enfin, une carte d interfaçage, concue par HMC2 Développement, assure la liaison entre les signaux capteurs (Infrarouge et Codeurs) et la carte PC embarquée. Nous avons retenue pour celle-ci la carte Hercules EBX de chez Diamond System (cf fig 28). Elle comporte un grand nombre d entrées analogiques utilisées pour la lecture capteurs de proximité infrarouge, et numériques, utilisées pour la lecture des signaux en sortie des codeurs incrémentaux). La carte supporte une alimentation 5-28V idéale pour une application embarquée (alimentation sur batteries). Il est à noter que les performances de la carte Hercules EBX dépassent largement les besoins de l application. Un développement spécifique est en cours d étude pour intégrer l ensemble des fonctions d acquisition et de traitement des données capteurs à l interface série / USB au bus DX. Figure 28 3-1-4 Localisation absolue par stéréovision L objectif de cette étude a consisté à étudier la faisabilité d un système de vision artificielle, permettant de localiser un fauteuil roulant afin d asservir sa circulation en mode automatique à l intérieur d une résidence, en exploitant un capteur de vision constitué de deux caméras disposées parallèlement à quelques centimètres l une de l autre, pour former un système de stéréovision. A ce dispositif matériel s ajoute un logiciel de vision, capable de reconnaître à partir des images de ces caméras les références visuelles présentes dans le décor de cette résidence sur les murs ou sur les plafonds (tableaux, décorations, objets, etc.), puis de calculer leurs distances et angles. Le principe de la localisation par la vision est l identification par l image d objets du décor, initialement définis par détourage à la souris de chaque objet, dont la signature est stockée dans une base de données d objets du décor. Une fois l objet identifié dans les deux images décalées par stéréoscopie, les coordonnées image de l objet détecté et leur décalage dans les deux images permettent de remonter à la position de la caméra. L expérimentation d une solution VISION sans marqueurs implique l exploitation de références visuelles déjà présentes dans l appartement dans lequel doit se déplacer le fauteuil. Accessoirement, lorsqu une pièce manque de références déjà présentes, il n est pas gênant de combler les zones d ombre en rajoutant un tableau sur un mur trop uniforme, par exemple. Cette solution possède donc une élégance non intrusive qu il fallait absolument explorer avant toute autre, dans la mesure où elle n implique aucune modification non négligeable de l environnement dans lequel doit se déplacer le fauteuil. La société URATEK a ainsi développé à notre demande un prototype permettant de tester cette solution sur la base du logiciel URACODE, qui permet de reconnaître des objets du décor. Pour compenser l incapacité Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 20

d URACODE à calculer avec précision la distance des objets qu il reconnaît, URATEK a utilisé un montage simple de stéréovision avec 2 caméras servant à déduire la distance de l objet à partir du décalage horizontal apparent entre les abscisses du même objet localisé dans les deux images. Pour localiser simultanément le même objet dans les deux images, tout en restant compatible avec le fonctionnement d URACODE, une adaptation de ce logiciel a été nécessaire et cela a représenté l essentiel du travail effectué. Les résultats ont été satisfaisants pour la reconnaissance d un petit nombre d objets en simultané (<10). URATEK a alors proposé une base de données de signatures d objets accessible selon un pavage du sol de l ordre de 1 mètre carré par ensemble de signatures potentielles simultanées. Une première difficulté a été l insuffisance des informations calculées par la vision à l aide de ce capteur à 2 caméras, pour remonter à la position précise du fauteuil. URATEK a donc proposé une solution par triangulation, impliquant l utilisation d un capteur à 4 caméras, sauf cas particuliers. Une seconde difficulté a été l imprécision résiduelle dans le calcul de la distance. Le décalage entre les caméras étant faible (5 cm), et les variations d aspect entre les images des 2 caméras pouvant être importantes, principalement à cause de la différence du champ de vision qui génère une adaptation de l auto-iris à la lumière différente dans les 2 images, URATEK a été contraint de moyenner les résultats sur plusieurs cycles (une dizaine) pour obtenir une précision de l ordre du centimètre. La conjugaison de ces difficultés et la lourdeur du système résultant a finalement conduit à rechercher une solution alternative beaucoup plus simple, sur la base de marqueurs discrets et totalement non intrusifs. URATEK a testé cette solution en utilisant des marqueurs en tissu découpés dans les bandes rétro réfléchissantes grises des gilets de haute visibilité. L oeil nu distingue à peine ces marqueurs ou pas du tout s ils sont par exemple positionnés sur une décoration existante, sauf à les rechercher vraiment. Ils peuvent donc passer inaperçus ou être visibles mais suffisamment discrets pour ne pas représenter une gène pour l habitant. Afin de rendre ces marqueurs hautement visibles pour un système de vision, URATEK propose en définitive la réalisation du système suivant : les marqueurs sont éclairés dans le proche infrarouge par une source à LEDs de basse consommation (alim 3V ou 12 V), pouvant utiliser l alimentation USB d un portable par exemple. Un filtre coupant la totalité du visible est inséré devant l objectif. En conséquence les marqueurs deviennent hautement visibles dans une image une fois retiré l IR-CUT de la caméra utilisée. Compte tenu des résultats de la première partie de l étude et des conditions dans lesquelles cette étude a été menée, nous n avons pas donné suite à cette seconde idée de solution. Le lecteur pourra se reporter à l annexe 2 du présent rapport pour plus de détails. 3-1-5 Interfaçage avec le bus DX de Dynamics Le système DX a été conçu et développé par la société Dynamics (www.dynamicmobility.co.nz). Ce système est devenu un standard dans le domaine du contrôle des fauteuils roulants électriques. Sa structure modulaire est construite sur le réseau CAN (Controller Area Network) qui a été initialisé par l équipementier automobile allemand Bosch en 1988. Ce réseau était initialement destiné à l interconnexion des équipements à l intérieur des véhicules intelligents. La couche application est non spécifiée et de ce fait CAN peut s adapter à tous les métiers (automobile, automatisme, industriel, médical.). Cette structure modulaire du système DX lui permet d offrir une intégration aisée de nouvelles fonctionnalités, et les liens entre les différents modules (puissance, joystick, batteries ) peuvent être modifiés facilement au moyen d outils logiciels et matériels. Dans sa version de base la plus simple, illustrée en figure 29, un système DX comprend des batteries, un module de puissance (PM) et un module de contrôle (UCM) du bus DX. Ce dernier intègre un joystick qui sert à générer des commandes de vitesse et de direction. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 21

Figure 29 Version de base d un système DX La société Dynamics avait de plus, à l époque du développement du projet «WAD» marseillais, conçu et commercialisé un module DX Key permettant de s interfacer sur le système DX en utilisant un simple PC muni d une liaison parallèle ou série. Liaison série Bus CAN Liaison parallèle Figure 30 Interface DX Key de Dynamics Le prototype «WAD» marseillais a été développé sur l architecture d un système DX, auquel avait été rajouté cette interface DX Key. Grâce à cette interface, les informations de proprioception et de perception de l environnement permettent de calculer des commandes de vitesse et de direction qui sont appliquées au module de motorisation, et ce, indépendamment de la conduite manuelle au joystick. (cf figure 9 ). Ainsi le mode d atteinte automatique de destination a pu être testé auprès d enfants IMC au Centre Saint Thys à Marseille. Le produit DX Key n étant plus commercialisé aujourd hui, il a été commandé à la Société BEEP l étude et la réalisation d une interface série /USB au bus de Dynamics. L interface est construite autour d un microcontrôleur AT90CAN128 de chez Atmel, et comprend les éléments suivants : - Interface au bus CAN version 2.0. - Drivers en mode CAN standard ou CAN-T (tolérance de panne). - Détection des états spécifiques du bus DX. - Alimentation à partir du bus DX (tension batterie 24V). - Interface série RS232. - Interface USB en mode esclave. - Interface port parallèle vers un PC (non utilisé dans l application finale). - Leds rouge et verte pour signalisation de l état de l interface. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 22

Le logiciel de la carte réalise les fonctions suivantes : - Gestion de la séquence de démarrage du bus DX. - Réception et décodage des trames de données en provenance du joystick et du module de puissance. - Envoi des données fournies par le PC au module de puissance. - Gestion des erreurs du bus DX. - Gestion de l arrêt du bus DX. - Réception et gestion des commandes sur port série et/ou USB. - Enregistrement des différents événements et anomalies. - Tests de maintenance du hardware. Figure 30 Interface série / USB au bus DX développé par la Société BEEP 3-2 Mode «atteinte de destination en mode automatique» Ce mode s adresse à des personnes qui ne peuvent pas manipuler le joystick avec leurs membres supérieurs. Dans ce mode le pilote a pour tâche de préciser au moyen d une interface homme machine ergonomique et personnalisée le lieu de départ et le lieu d arrivée du déplacement. Le plan du domicile est affiché sur un écran, et l interface de commande peut être une mentonnière, un contact tout ou rien, ou toute autre interface adaptée. Les différents choix doivent être validés pour passer à l étape suivante. Tâche de sélection de la position initiale du fauteuil. Tâche de validation de la position initiale du fauteuil. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 23

Figure 31 Exemple d interface pour le mode automatique Les capteurs de proximité infrarouges et les codeurs incrémentaux renseignent sur les contraintes de l environnement, ainsi que sur l orientation et la distance de la destination par rapport à la position courante du véhicule. Ces informations proprioceptives (codeurs) et extéroceptives (capteurs de proximité) permettent de calculer des commandes de vitesse et de direction qui sont transmises à la motorisation sans avoir à manipuler le joystick. Le fauteuil atteint seul sa destination. Les variables de contrôle retenues sont la direction de déplacement Φ du véhicule et sa vitesse linéaire υ. Les valeurs instantanées de ces variables sont les solutions stables d un système dynamique non linéaire qui dépend de manière paramétrique des informations sensorielles de position courante du véhicule et de distances aux obstacles environnants. Figure 32 Repérage dans le plan de déplacement des angles Φ, Ψ obsi, Ψ targ L évitement d obstacles est obtenu en sommant les contributions de chaque capteur visant dans une direction Ψ obsi. Ces contributions sont de la forme : Les informations de distances aux obstacles environnants interviennent dans les quantités λ i et σ i, et la fonction d évitement d un obstacle repéré dans la direction Ψ obsi est illustrée ci dessous : Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 24

Figure 33 : Contribution à l évitement d un obstacle situé autour de la direction Ψ obsi L atteinte de la destination est obtenue à partir de la fonction attractive de la forme : La quantité Ψ targ est calculée à partir des informations fournies par les codeurs incrémentaux qui donnent une estimation de la position courante du véhicule, et à partir de la position de la destination choisie au moyen par exemple de l interface homme machine présentée au début de ce paragraphe. La fonction attractive est illustrée çi dessous : Figure 34 : Contribution à l atteinte d une destination située en Ψ targ Le comportement global du mode «atteinte de destination en mode automatique» est construit sur le système dynamique suivant : qui donnent des valeurs au cours du temps à la direction de déplacement Φ du véhicule et à sa vitesse linéaire υ. La connaissance des quantités dφ/dt et υ permet de calculer les vitesses des roues droite et gauche du véhicule et ce, à chaque pas de mesure des informations capteurs (codeurs incrémentaux et détecteurs infrarouges). C est la valeur de ce pas de mesure, ou temps de boucle du code informatique, qui fixe les relations d ordre liant les différents paramètres du modèle de navigation. 3-3 Mode «évitement d obstacles marié au pilotage manuel» Ce mode s adresse à des personnes qui peuvent manipuler le joystick avec leurs membres supérieurs. Mais, par suite de l évolution de leur pathologie au cours du temps, ou en raison même du type de leur pathologie, leur commande motrice volontaire est ralentie. Le pilote impose au moyen du joystick des commandes de vitesse et de direction qui sont transmises à la motorisation. Des capteurs de proximité uniformément répartis à la périphérie du fauteuil renseignent sur les directions à éviter au cours du déplacement. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 25

Les commandes standard du joystick (marche avant, marche arrière, tourner à droite, tourner à gauche) restent possible pendant l assistance à l évitement. En particulier le pilote a la possibilité d effectuer une marche arrière alors qu un évitement d obstacles vers l avant est en cours de réalisation. L interaction homme / machine laisse au pilote une possibilité de manœuvre plus ou moins importante, variant dans le temps, suivant l environnement perçu et les commandes manuelles appliquées au joystick. En d autres termes les commandes du pilote s expriment plus intensément si elles permettent de s éloigner des obstacles détectés. L assistance à l évitement est opérationnelle aussi bien en marche avant qu en marche arrière. Cette condition suppose que les capteurs de proximité soient uniformément répartis à la périphérie du véhicule. Le système assure un mariage harmonieux entre les souhaits de direction et de vitesse du pilote et la détection des obstacles environnants. Cette assistance au pilotage apporte sécurité et confort de conduite par un évitement d obstacles automatique «marié» en permanence à la commande manuelle du joystick. Le modèle de navigation du mode automatique est transformé, en remplaçant l attracteur défini initialement au moyen d une interface graphique, par celui défini en permanence par le pilote au moyen du joystick dont l état peut être lu par l interface au bus DX. La fonction d évitement reste de la même forme, mais une adaptation des forces de répulsion en fonction de la trajectoire souhaitée a été imaginée afin de faciliter les passages de portes. La première approche du procédé d évitement d obstacles attribuait le même coefficient de répulsion à chaque capteur : cette force de répulsion dφ/dt est principalement liée à la distance d i entre le capteur et l obstacle, et à l angle Φ- Ψ obsi situé entre l axe médian du fauteuil et la direction de visée du capteur. Ce principe permet d éviter les obstacles mais n autorise pas de s en rapprocher suffisamment en vue, par exemple, de passer une porte sous n importe quelle incidence. Il faut donc trouver un compromis entre le «ne jamais toucher» et le passage d ouvertures plus ou moins étroites. Une solution à ce problème est la prise en compte de la direction choisie par l utilisateur dans le calcul des forces de répulsion. Ainsi, les capteurs visant dans la direction donnée par le joystick doivent générer une force de répulsion plus importante que les autres capteurs, de manière à anticiper la présence d obstacles situé dans la trajectoire désirée. Pour cela on attribue une force maximale de détection, 1, différente pour chaque capteur en fonction de 2 (décroissance de la répulsion), la distance d min et la force de répulsion max étant fixées. 1i max d min exp( ) Ces valeurs de 1 et 2 ainsi calculées sont ensuite utilisées pour déterminer le i de chaque capteur en vue du calcul de leur force de répulsion utilisée dans la dynamique. 2i di i 1 iexp( ) 2i De cette façon, si un capteur a un 2 élevé (capteur dans la zone visée), sa force de répulsion aura une valeur significative dès la détection d un objet lointain. En revanche, un capteur ayant un 2 faible ne repoussera d une manière significative que pour une distance mesurée faible proche de d min. De plus, si la distance mesurée par un capteur devient inférieure à d min celui-ci aura une force de répulsion très importante. (Figure 35). Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 26

0,1 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1,1 1,2 1,3 i 15 d min = 0.15 m max = 10 10-15 5-10 10 0-5 5 1,2 0 0,8 Distances mesurées 0,15 0,4 Réglage 2 Figure 35 : Valeur de i en fonction de la distance mesurée et pour différent réglage de 2 Pour déterminer le 2 de chaque capteur nous avons choisi de définir une zone autour du fauteuil qui s adapte à la direction choisie par l utilisateur. Pour avoir la valeur du 2 d un capteur, il suffit alors de calculer la distance entre l origine du capteur et l intersection avec le faisceau de celui-ci et la zone limite. Ce périmètre autour du fauteuil s adapte en permanence à la direction choisie par l utilisateur. (Figure 36) Distance correspondant à 2 Zone limite Fauteuil Joystick Figure 36 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 27

1,1 1,2 1,3 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0,1 0,1 Les premiers essais de cette méthode ont montré qu elle était très efficace pour anticiper et éviter les obstacles. en revanche, en l état, elle ne permettait pas de se rapprocher suffisamment en vue du passage d ouverture étroite. Il a donc fallu adapter les valeurs de 2 de manière à repousser un peu moins en cas d objet lointain dans la trajectoire. Pour cela nous avons modifié les 2 de manière à obtenir des i similaire à la Figure 37 : 60 50 i d min = 0.15 m max = 10 Figure 37 : Valeur de i en fonction de la distance mesurée et pour différents réglages de 2new 40 30 20 50-60 40-50 30-40 20-30 10-20 0-10 Avec : 2 0,02 2,4 2 new e 10 1,2 0 0,6 0,9 Distances mesurées 0,15 0,3 Réglage 2new De plus afin d améliorer l évitement des obstacles nous avons aussi été amenés à modifier la valeur des distances mesurées par les capteurs. En effet jusqu à présent lors du calcul de la fonction i ainsi que pour le calcul de la largeur angulaire de l influence de l obstacle ( i ) nous utilisions la distance entre l origine du capteur et l obstacle. Cependant cette méthode ne prend pas en compte la géométrie du fauteuil. Nous avons donc choisie d intégrer la forme du fauteuil en retranchant à la mesure de chaque capteur une valeur prédéfinie correspondant à la distance entre l origine du capteur et le périmètre du fauteuil (Figure 38). Cela a pour avantages de supprimer l incertitude liée au fait que les capteurs ne détectent pas en dessous de 15cm et, de plus, cela améliore la dynamique puisque lorsqu un obstacle entre dans le périmètre du fauteuil celui-ci est très fortement repoussé. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 28

Périmètre limite Distance utilisée pour les calculs Distance retranchée Figure 38 Malgré les différentes modifications expliquées ci-dessus les résultats ne sont pas parfaitement concluants. En effet le fauteuil ne permet pas encore de passer une ouverture de 90 cm sans heurter les obstacles. Afin de palier ce défaut et par conséquent de permettre au fauteuil de s approcher très près des obstacles sans jamais les toucher nous avons modifié la fonction qui calcule la distance minimale vue par les capteurs. Un peu de la même manière que pour la prise en compte de la géométrie du fauteuil nous avons retranché à la distance minimale une valeur correspondant au périmètre du fauteuil et fonction du capteur étant à cette distance minimale. La vitesse d avance étant liée à la distance minimale, le fait de lui retrancher une certaine valeur conduit à obtenir une distance minimale négative et donc une vitesse négative. Ainsi lorsque le fauteuil s approche vraiment trop près d un obstacle, ça vitesse d avance s inverse. Ce mode «évitement d obstacles marié au pilotage manuel» est illustré par les deux vidéos jointes au présent rapport. Le protocole de test des vidéos du 31/01/07 est illustré 9I çi dessous par la figure 39 : Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 29

230 90 50 Les 30 capteurs sont configurés de la sorte : N 11 N 15 N 20 N 5 N 21 N 4 N 3 N 2 N 1 N 0 N 26 Enfin les trois photos çi dessous illustrent l implantation de la nouvelle configuration des capteurs sur le véhicule Topchair. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 30

Vue arrière du produit WAD / TOPCHAIR : Au centre de la photo on distingue l ensemble de 12 capteurs infrarouge assurant une visibilité sur 180 degrés et jusqu à 1m50 à l arrière du véhicule. On distingue également les galets roulant sur les pneus des deux roues motrices. Ces galets sont reliés mécaniquement aux codeurs incrémentaux situés dans les bras mobiles du train de roues arrière Vue avant du produit WAD / TOPCHAIR : sous les repose pied on distingue l ensemble de 12 capteurs infrarouge assurant une visibilité sur 180 degrés et jusqu à 1m50 vers l avant du véhicule Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 31

Vue d ensemble du produit Topchair équipé du système WAD (Mars 2007) 4 Etude de marché Les conclusions de l étude de marché réalisée par le cabinet Ernst & Young de Septembre 2006 à Janvier 2007 sont les suivantes : Les forces du projet : Un projet à l état de prototype avancé Facilement intégrable sur les produits de Control Dynamics (fauteuils Invacare notamment) L utilisation du système nécessite peu d entraînement Le montage est considéré comme relativement accessible par les installateurs Le capital sympathie est évident Le prix de vente est a priori encore acceptable Les opportunités du projet : Un intérêt avéré par tous les acteurs du secteur Des constructeurs ou des distributeurs prêts à envisager une commercialisation Un terrain encore peu occupé réellement Les faiblesses du projet : Un marché de niche pour les différents acteurs Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 32

Une intégration sur les autres électroniques à valider et à mesurer dans le cadre de tests techniques Les menaces du projet : Une réglementation contraignante imposant une sûreté des systèmes intelligents Une tendance lourde à la maîtrise des coûts médicaux et donc des tensions fortes sur les prix Des projets académiques concurrents assez nombreux Le risque de sur-mesure pour des approches patients trop spécifiques qui induit des surcoûts importants 5 Brevet Une demande de Brevet français a été déposée par le cabinet NOVAGRAAF TEHNOLOGIES le 9 Mars 2007, sous le numéro 0701751. Cette demande de Brevet français a été déposée au nom de CNRS et Université de la Méditerranée et a pour titre : Procédé de pilotage d un fauteuil roulant. Pour mémoire, la coopération scientifique et technique entre l UMR Mouvement et Perception (dirigée par Jean Louis Vercher) et la société HMC2 DEVELOPPEMENT, a été bordée par la signature d un contrat de collaboration recherche (Référence CNRS : 000 567) entre la Société HMC2 Développement, le CNRS et l Université de La Méditerranée, conclu pour une durée de 24 mois à compter du 20 décembre 2004, date de la notification n 04 T 573 entre le Ministère de l Education Nationale de l Enseignement Supérieur et de la Recherche et le CNRS. En Juin 2006, compte tenu de l état d avancement du projet, a été également signé un accord de transfert de logiciel à des fins de recherche (Référence CNRS : 007 171) entre la Société HMC2 Développement, le CNRS et l Université de La Méditerranée. Enfin, le 12 décembre 2006 ont été signés un avenant n 1 à l accord de transfert de logiciel à des fins de recherche n 007 171 (Référence CNRS : 015 589) et un avenant n 1 au contrat de collaboration recherche n 000 567 (Référence CNRS : 015 594) entre la Société HMC2 Développement, le CNRS et l Université de La Méditerranée, et ce dans le cadre du développement du mode «évitement d obstacles marié au pilotage manuel» 6 Conclusion et Perspectives L objectif global de transfert d un système d aide à la navigation en fauteuil roulant électrique d un prototype de recherche (projet WAD) vers un véhicule industriel et commercialisé (produit Topchair) a été atteint. Malgré l abandon du mode tout automatique, en raison essentiellement de la trop grande simplicité des capteurs de proximité infrarouge utilisés, les équipes partenaires du projet ont su rebondir vers le développement d un autre mode de fonctionnement, dans lequel le pilotage humain est marié de manière harmonieuse à un évitement d obstacles automatique. Comme l étude de marché l a révélé, ce système d aide serait potentiellement utile à un plus grand nombre de personnes en situation de handicap moteur que ne le serait le premier système. De plus cet «évitement d obstacles automatique marié au pilotage humain» a fait l objet d une demande de brevet français, gage d une coopération plus claire avec les principaux constructeurs de fauteuil roulant électrique. Les développements futurs auront pour objectifs principaux une réduction des coûts associée à une compatibilité avec l ensemble des systèmes de commande de fauteuil roulant électrique. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 33

ANNEXE 1 Simulations 3D pour optimisation de la position sur TopChair des capteurs de proximité infrarouge situés au niveau du sol 1- Objectif. L objectif est de trouver sur le fauteuil TopChair la meilleure configuration spatiale de capteurs situés au niveau du sol. Pour atteindre cet objectif une simulation 3D sur Virtools a été effectuée. La simulation consiste à modifier les paramètres position, orientation et dimensions d un obstacle et à enregistrer les distances perçues par les capteurs selon plusieurs configurations et propriétés. 2- Les paramètres fixes. 2.1- Les caractéristiques du fauteuil Le centre de rotation du fauteuil est l origine du repère utilisé. Le fauteuil TopChair est inscrit dans un rectangle qui peut être vu comme un «périmètre de sécurité où aucun obstacle ne doit s introduire». Ce rectangle est utilisé par le système dynamique pour juger des distances avec les obstacles. (Le système dynamique ne prend donc pas en compte les formes et contours spécifiques du TopChair.) Le fauteuil (ou le rectangle) a une largeur de 0,68 m et une longueur de 1,1 m (Fig. 1). 2.2- Les capteurs. Fig. 1. Dimensions du fauteuil Nous proposons deux groupes de capteurs (Fig. 2). Un groupe situé sur la partie avant gauche du fauteuil (devant la roue gauche) et l autre groupe situé sur la partie avant droite du fauteuil (devant la roue droite) (Fig. 3). Les capteurs ont tous un horizon de 1,5 m et sont positionnés à 200 mm du sol (Fig. 4). Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 34

Fig. 2. Un groupe de capteurs. Fig. 3. Positionnement des groupes de capteurs. 3- Les facteurs simulés. 3.1- Les facteurs environnementaux. Fig 4 : Les 2 groupes de 7 capteurs à l avant du véhicule 3.1.1- Angle d incidence de l obstacle par rapport au véhicule. Cet angle correspond à l angle formé par l axe OX et la droite qui passe par le centre de rotation du véhicule et le centre de gravité du plateau. Cette droite est orthogonale au mur (fig. 6). Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 35

Fig. 6. Angle d incidence Nous avons retenu pour ce facteur sept modalités avec comme minimum 32.55, maximum 90 et un pas de résolution de 9.575 : - 32.55-42.125-51.7-61.275-70.85-80.425-90 La droite qui passe par le centre de rotation avec un angle de 32.55 coupe à 0.75 m (la moitié de l horizon des capteurs) le faisceau du capteur n 1. Cette valeur est celle de notre valeur minimum de l angle d incidence. La droite qui passe par le centre de rotation avec un angle de 90 coupe à 0.75 m (la moitié de l horizon des capteurs) le faisceau du capteur n 7. Cette valeur est celle de notre valeur maximum de l angle d incidence. 3.1.2- Distance à l obstacle La distance à l obstacle correspond à la longueur du segment situé entre le bord du fauteuil et le bord du plateau (Fig.7). Ce segment est confondu avec la droite passant par le centre de rotation du véhicule et le centre de gravité du plateau. Fig. 7. Distance à l obstacle Nous proposons pour ce facteur sept modalités, la distance minimum est de 0,2 m, la distance maximum est de 1,4 m et le pas de résolution est de 0,2 m : - 0,2 m - 0,4 m Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 36

- 0,6 m - 0,8 m - 1 m - 1,2 m - 1,4 m 3.1.3- Largeur de l obstacle. Trois modalités ont été choisies. La largeur minimum est de 0,024 m, la largeur maximum est de 0,544 m et le pas de résolution de 0,26 m: - 0,024 m - 0,284 m - 0,544 m La largeur est symétrique par rapport à la médiane. 3.2- Les facteurs internes. Les facteurs internes regroupent les caractéristiques des capteurs et leur configuration. 3.2.2- La direction de visée horizontale des capteurs Chaque capteur a une direction de visée horizontale de base qui sera modifiée à plus ou moins 8,7 avec un pas de résolution de 4,35. Les directions de visée horizontale de base ont été choisies à partir de celles fournies par HMC2 Développement et sont tracées sur la figure 8. Fig. 8. Numérotation des capteurs et leurs directions de visée de base Le capteur 1 est le capteur situé le plus à droite (pour le groupe de capteurs de droite), et le capteur 7 est celui qui est situé le plus proche de l axe médian du fauteuil Les directions de visée horizontale des capteurs sont indépendantes les unes des autres. Ce qui donne une simulation de 57 (78125) configurations de capteurs. Le facteur «direction de visée horizontale» a 5 modalités : Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 37

- -8,7 - -4,35-0 - 4,35-8,7 3.2.3- Le demi angle Les demi angles 2,5 et 7,5 ont été choisis. Le capteur Sharp a un demi angle au sommet de 2,5. (cf. Travaux Laurent et Benjamin effectués en 2005 au sein de la société HMC2 Développement). 4- Simulation de la perception des capteurs Pour simuler la perception des capteurs, plusieurs segments situés à l intérieur du cône de perception sont calculés. Ces segments partent du sommet du cône où se trouve le capteur, et se terminent sur la base du cône. Les coordonnées des points d intersection entre les facettes de l obstacle et ces segments sont calculées en 3D. Ensuite, nous calculons les distances entre la position du capteur et les coordonnées des points d intersections. La plus petite distance est retenue comme distance perçue par le capteur. Le nombre de segments et leurs positions sur la base du cône dépendent de deux paramètres. Le premier paramètre est le nombre de cercles (situés sur la base du cône) par degré d angle au sommet (Fig.9). Le second paramètre est le nombre de points par centimètre situés sur la circonférence d un même cercle. Fig. 9. Résolution de la base du cône de perception d un capteur Pour nos simulations, la résolution est la même pour les modalités du facteur demi angle (2,5 et 7,5 ). Le nombre de cercles par degré est de 1,25 et le nombre de points par centimètre est de 2,572. 5- Méthode expérimentale 2*57*3*7*7 = 22968750 cas simulés. Il y a 78125 configurations de capteurs par demi angle au sommet qui ont été simulées. Dans un premier temps un tri entre les «mauvaises configurations» et les «bonnes configurations» doit être effectué. Dans un deuxième temps, une analyse de résultats sera effectuée sur les meilleures configurations pour choisir la «meilleure». Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 38

5.1- La fonction de coût. Pour évaluer les configurations une fonction de coût est utilisée. Celle ci s appuie sur 5 critères pour évaluer une configuration : - qualité de perception (perception de l obstacle à la bonne distance) - redondance de l information (obstacle vu par le plus grand nombre de capteurs) - priorité aux capteurs frontaux (plus grande importance de la perception des obstacles situées en face que ceux situés sur les cotés) - priorité à la vision proche (une plus grande importance est donnée à la perception des obstacles proches qu à celle des obstacles éloignés) - maximiser l étendue visée par la distance de visée des capteurs 1 et 7 et minimiser les surfaces d ombre. Calcul d une première note pour chaque capteur : Pour chaque capteur dans chaque situation on effectue le calcul suivant : Ai = (angleincidence - 32.55 ) * ( 0.9 / ( 90-32.55)) + 0.1. D = 1.1 - (((distanceréelle - 0.2 ) * ( 0.9 / 1.2)) + 0.1) capteurnote = ( 1.5 distanceperçue ) * Ai * D Ensuite on fait la somme de tous les capteurs et de toutes les situations TotCapteurNote = capteurnotei Calcul de l homogénéité des différences des angles : diffangles est un vecteur des différences des angles entre les capteurs diffangles i = anglecapteur i+1 anglecapteur i On calcule l écart type des différences des angles entre les capteurs ecarttype= Ecarttype ( diffangles ) ; maxecarttype est la valeur maximum que peut avoir l écart type maxecarttype =3 RatioEcarttype = 1.1 - ((( ecarttype) * (0.9 / maxecarttype )) + 0.1 ) Calcul de l étendue : Etendu = anglecapteur 7 anglecapteur 1; maxetendu = 127.96-93.16 ratioetendu = ( etendu - 93.16 ) * ( 0.9 / ( maxetendu )) + 0.1 Formule finale : notetotale = TotCapteurNote * ratioecarttype * ratioetendu Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 39

6- Résultats et analyse des données On observe une différence entre les demi angles au sommet de 2,5 et 7,5. Pour un demi angle de 7,5 on obtient comme maximum une note de 0.013 et un minimum de 0.0022. En revanche pour un demi angle de 2,5, on obtient un maximum de 0.010 et un minimum de 0.0014. 6.1- Analyse des orientations des capteurs pour un demi angle de 2,5 Tableau sur les 30 meilleures configurations de direction de visée en degrés pour un demi angle de 2,5 C 1 C 2 C 3 C 4 C 5 C 6 C 7 Notes Configuration 1-8.7-8.7 8.7 8.7 8.7 8.7 8.7 0.0109 Configuration 2-8. 7-8.7 8.7 4.35 8.7 8.7 8.7 0.0108 Configuration 3-8. 7-8.7 8.7 8.7 4.35 8.7 8.7 0.0107 Configuration 4-8. 7-4.35 8.7 8.7 8.7 8.7 8.7 0.0107 Configuration 5-8. 7-8.7 8.7 4.35 4.35 8.7 8.7 0.0106 Configuration 6-8. 7-8.7 8.7 8.7 8.7 4.35 8.7 0.0106 Configuration 7-8. 7-4.35 8.7 4.35 8.7 8.7 8.7 0.0106 Configuration 8-8. 7-8.7 8.7 8.7 0 8.7 8.7 0.0106 Configuration 9-8. 7 0 8.7 8.7 8.7 8.7 8.7 0.0106 Configuration 10-8. 7 8.7 8.7 8.7 8.7 8.7 8.7 0.0106 Configuration 11-8. 7 4.35 8.7 8.7 8.7 8.7 8.7 0.0106 Configuration 12-8. 7-4.35 8.7 8.7 4.35 8.7 8.7 0.0106 Configuration 13-8. 7-8. 7 8.7-8.7 8.7 8.7 8.7 0.0106 Configuration 14-8. 7-8. 7 8.7 4.35 8.7 4.35 8.7 0.0106 Configuration 15-8. 7-8. 7 8.7 4.35 0 8.7 8.7 0.0105 Configuration 16-8. 7 0 8.7 4.35 8.7 8.7 8.7 0.0105 Configuration 17-8. 7 8. 7 8.7 4.35 8.7 8.7 8.7 0.0105 Configuration 18-8. 7-8. 7 4.35 8.7 8.7 8.7 8.7 0.0105 Configuration 19-8. 7-8. 7 8.7 8.7 4.35 4.35 8.7 0.0105 Configuration 20-8. 7 4.35 8.7 4.35 8.7 8.7 8.7 0.0105 Configuration 21-8. 7-4.35 8.7 4.35 4.35 8.7 8.7 0.0105 Configuration 22-8. 7-4.35 8.7 8.7 8.7 4.35 8.7 0.0105 Configuration 23-8. 7-8. 7 8.7 8.7 8.7 8.7 4.35 0.0105 Configuration 24-8. 7 0 8.7 8.7 4.35 8.7 8.7 0.0105 Configuration 25-8. 7-8. 7 8.7-4.35 8.7 8.7 8.7 0.0105 Configuration 26-8. 7-4.35 8.7 8.7 0 8.7 8.7 0.0105 Configuration 27-8. 7-8. 7 8.7 0 8.7 8.7 8.7 0.0105 Configuration 28-8. 7 8. 7 8.7 8.7 4.35 8.7 8.7 0.0105 Configuration 29-8. 7 4.35 8.7 8.7 4.35 8.7 8.7 0.0105 Configuration 30-8. 7-8. 7 8.7 8.7 8.7 0 8.7 0.0104 Moyenne -8. 7-3.91 8.55 6.09 6.67 7.83 8.55 0.01062 Si on fait la moyenne des 30 meilleures configurations on obtient en degrés les orientations suivantes : - capteur 1 : -8.7 - capteur 2 : -3.915 - capteur 3 : 8.55 - capteur 4 : 6.09 - capteur 5 : 6.67 - capteur 6 : 7.83 - capteur 7 : 8.55 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 40

Avec l ajout des orientations de base nous avons : - capteur 1 : -8.7 (0 de base) - capteur 2 : 22.68 (26,6 de base) - capteur 3 : 71.95 (63,4 de base) - capteur 4 : 90.29 (84,2 de base) - capteur 5 : 96.67 (90 de base) - capteur 6 : 110,17 (102,34 de base) - capteur 7 : 119,11 (110,56 de base) Conclusion 1 (demi angle de 2,5 ) La simulation proposerait donc un plus grand écart entre les capteurs latéraux (capteurs 1 et 2) et les capteurs frontaux (capteurs 3, 4, 5, 6, 7) par rapport aux orientation de base. On observe un écart de 49.27 entre le capteur 2 et 3 contre 37 par rapport aux orientations de bases. La simulation proposerait une direction de visée plus en retrait pour le capteur 1 et 2 et une direction de visée vers l axe médian du fauteuil pour les autres capteurs. 6.2- Analyse des orientations des capteurs pour un demi angle de 7,5 Tableau sur les 30 meilleures configurations de direction de visée en degrés pour un demi angle de 7,5 C 1 C 2 C 3 C 4 C 5 C 6 C 7 Notes Configuration 1-8.7-8.7 8.7 8.7 8.7 8.7 8.7 0.0133953 Configuration 2-8.7-8.7 8.7 4.35 8.7 8.7 8.7 0.0133015 Configuration 3-8.7-8.7 8.7 0 8.7 8.7 8.7 0.0132753 Configuration 4-8.7-4.35 8.7 8.7 8.7 8.7 8.7 0.0132168 Configuration 5-8.7-8.7 8.7 8.7 4.35 8.7 8.7 0.0131947 Configuration 6-8.7-8.7 8.7 8.7 8.7 8.7 4.35 0.0131243 Configuration 7-8.7-4.35 8.7 4.35 8.7 8.7 8.7 0.013123 Configuration 8-8.7-8.7 8.7 4.35 4.35 8.7 8.7 0.0131009 Configuration 9-8.7 0 8.7 8.7 8.7 8.7 8.7 0.0131 Configuration 10-8.7-4.35 8.7 0 8.7 8.7 8.7 0.0130968 Configuration 11-8.7-8.7 8.7 8.7 8.7 4.35 8.7 0.0130957 Configuration 12-8.7 8.7 8.7 8.7 8.7 8.7 8.7 0.0130747 Configuration 13-8.7-8.7 8.7 0 4.35 8.7 8.7 0.0130746 Configuration 14-8.7-8.7 8.7 8.7 0 8.7 8.7 0.0130571 Configuration 15-8.7 4.35 8.7 8.7 8.7 8.7 8.7 0.0130503 Configuration 16-8.7-8.7 8.7 8.7-8.7 8.7 8.7 0.013037 Configuration 17-8.7-8.7 8.7 4.35 8.7 8.7 4.35 0.0130306 Configuration 18-8.7-8.7 8.7 8.7-4.35 8.7 8.7 0.0130254 Configuration 19-8.7-4.35 8.7 8.7 4.35 8.7 8.7 0.0130162 Configuration 20-8.7 0 8.7 4.35 8.7 8.7 8.7 0.0130062 Configuration 21-8.7-8.7 8.7 0 8.7 8.7 4.35 0.0130043 Configuration 22-8.7-8.7 8.7 4.35 8.7 4.35 8.7 0.0130019 Configuration 23-8.7 8.7 8.7 4.35 8.7 8.7 8.7 0.0129809 Configuration 24-8.7 0 8.7 0 8.7 8.7 8.7 0.0129799 Configuration 25-8.7-8.7 8.7 0 8.7 4.35 8.7 0.0129756 Configuration 26-8.7-8.7 8.7 4.35 0 8.7 8.7 0.0129634 Configuration 27-8.7-8.7 8.7-8.7 8.7 8.7 8.7 0.0129621 Configuration 28-8.7 4.35 8.7 4.35 8.7 8.7 8.7 0.0129565 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 41

Configuration 29-8.7 8.7 8.7 0 8.7 8.7 8.7 0.0129546 Configuration 30-8.7-8.7 4.35 8.7 8.7 8.7 8.7 0.0129546 Moyenne -8.7-4.64 8.55 4.785 6.525 8.265 8.26 0.01307101 Si on fait la moyenne des 30 meilleures configurations on obtient en degrés les orientations suivantes : - capteur 1 : -8.7 - capteur 2 : -4.64 - capteur 3 : 8.55 - capteur 4 : 4.78 - capteur 5 : 6.52 - capteur 6 : 8.26 - capteur 7 : 8.26 Avec l ajout des orientations de base nous avons : - capteur 1 : -8.7 (0 de base) - capteur 2 : 21.95 (26,6 de base) - capteur 3 : 71.95 (63,4 de base) - capteur 4 : 88.98 (84,2 de base) - capteur 5 : 96.52 (90 de base) - capteur 6 : 110.6 (102,34 de base) - capteur 7 : 118.82 (110,56 de base) Conclusion 2 (demi angle de 7,5 ) La simulation proposerait le même type de configuration que pour un demi angle au sommet de 2,5. 6.3- Critique de la méthode expérimentale L environnement est construit sur un certain nombre de modalités pour chaque facteur environnemental (distance à l obstacle, largeur de l obstacle et angle d incidence). Ce nombre de modalités peut ne pas recouvrir suffisamment l ensemble des environnements possibles. Dans la simulation, une configuration de capteurs est testée sur 147 environnements. Le facteur qui peut faire défaut est celui de l angle d incidence où des zones ne sont jamais ou peu couvertes par l obstacle. Le risque est de choisir une configuration de capteurs très performante pour la détection d obstacles uniquement situés sur les angles d incidences testés par la simulation. Ensuite, le même type de problème se pose pour le nombre de modalité des orientations des capteurs testées. En effet, les valeurs intermédiaires ne sont pas prises en compte, par conséquent un nombre non négligeable de configurations a été omis. 7- Algorithme génétique L algorithme génétique permet d'obtenir une solution approchée, en un temps correct, à un problème d'optimisation, lorsqu'il n'existe pas de méthode exacte pour le résoudre. Les algorithmes génétiques utilisent la notion de sélection naturelle développée par le scientifique Darwin et l'appliquent à une population de solutions potentielles au problème donné Un seul algorithme a été réalisé afin de chercher une configuration correcte de capteurs. Les simulations présentent les mêmes caractéristiques que celles de la méthode expérimentale, seul un demi angle de 2,5 a été utilisé. Enfin de pallier aux deux problèmes cités dans le paragraphe «6.3- Critique de la méthode expérimentale», les angles d incidence ont été modifiés aléatoirement à + ou 8, et les orientations peuvent prendre n importe quelle valeur entre -8,7 et 8,7. L algorithme génétique utilise la même fonction de coût pour évaluer les configurations. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 42

L algorithme a cherché la solution sur 25000 configurations contre 78125 pour la méthode expérimentale. Nous avons choisi 30 configurations aléatoirement proposées par la dernière génération. Les configurations par algorithme ont été moyennées et nous donne en degrés : C 1 C 2 C 3 C 4 C 5 C 6 C 7-0.16 7.15 5.8 7.2 8.52 5.98 8.43 Avec les angles de base en degrés cela nous donne : C 1 C 2 C 3 C 4 C 5 C 6 C 7 Solution -0.16 33.75 69.2 91.4 98.52 108.32 118.99 Angle de base 0 26.6 63.4 84.2 90 102.34 110.56 De même que pour la méthode expérimentale, tous les capteurs frontaux s orientent d avantage vers l axe médian du véhicule. En revanche l algorithme génétique ne diminue pas la direction de visée du premier capteur. 8- Confrontation des deux méthodes Les deux solutions trouvées par chacune des méthodes sont identiques pour les capteurs frontaux mais pas pour les capteurs latéraux: C 1 C 2 C 3 C 4 C 5 C 6 C 7 Algorithme génétique -0.16 33.75 69.2 91.4 98.52 108.32 118.99 Méthode expérimentale -8.7 22.68 71.95 90.29 96.67 110.17 119.11 Angle de base 0 26.6 63.4 84.2 90 102.34 110.56 Fig. 10. Configuration avec les directions de bases Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 43

Fig. 11. Configuration fournie par l algorithme génétique Fig. 12. Configuration fournie par la méthode expérimentale Pour départager les deux solutions des simulations ont été réalisées. Ces simulations sont effectuées avec un angle d incidence qui varie à + ou 8. Trente tests ont été effectués par configuration. Un test comprend l évaluation de la configuration par la fonction de coût sur le croisement de tous les facteurs environnementaux (147 environnements). Les résultats sont les suivants : Evaluation de chaque configuration issue des deux méthodes par essai. Algorithme génétique Méthode expérimentale Essai 1 0.049 0.275 Essai 2 0.129 0.018 Essai 3 0.018 0.050 Essai 4 0.004 0.205 Essai 5 0.196 0.175 Essai 6 0.055 0.205 Essai 7 0.053 0.287 Essai 8 0.148 0.212 Essai 9 0.028 0.202 Essai 10 0.136 0.123 Essai 11 0.176 0.208 Essai 12 0.012 0.086 Essai 13 0.033 0.021 Essai 14 0.145 0.058 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 44

Essai 15 0.215 0.109 Essai 16 0.178 0.195 Essai 17 0.029 0.113 Essai 18 0.052 0.104 Essai 19 0.111 0.079 Essai 20 0.159 0.261 Essai 21 0.200 0.179 Essai 22 0.212 0.228 Essai 23 0.147 0.091 Essai 24 0.038 0.084 Essai 25 0.117 0.263 Essai 26 0.030 0.027 Essai 27 0.214 0.036 Essai 28 0.017 0.247 Essai 29 0.190 0.018 Essai 30 0.194 0.182 Moyenne 0.109 0.145 La configuration proposée par la méthode expérimentale a de meilleures notes que celle proposée par l algorithme génétique. Une seule simulation de l algorithme génétique a été réalisée. Aucun test sur les paramètres de l algorithme n a été effectué. La recherche de solution a pu se faire sur une trop petite portion de l espace problème. A priori l algorithme génétique a rapidement convergé vers un maximum local. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 45

ANNEXE 2 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 46

Sommaire INTRODUCTION... 3 1 LOGICIEL... 3 1.1 Introduction... 3 1.2 Les controles fonctionnels de locavision... 5 1.3 Réglages et mise au point... 6 2 MATERIEL... 7 2.1 Choix du matériel de développement..... 7 2.2 Réglages et précision... 9 3 METHODES... 10 3.1 Principe... 10 3.2 Triangulation... 11 3.3 Localisation pendant le déplacement... 11 3.4 Cas particulier du déplacement vers une cible... 12 4 DIFFICULTES... 14 5 NOUVELLE SOLUTION... 15 5.1 Principe de détection dans le proche infrarouge... 15 5.2 Principe de localisation par configuration de marqueurs... 18 5.3 Architecture de la solution proposée... 19 6 CONCLUSION... 19 Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 47

Introduction L objectif de l étude est d étudier la faisabilité d un système de vision artificielle permettant de localiser un fauteuil roulant afin d asservir sa circulation automatique à l intérieur d une résidence, en exploitant un capteur de vision. Le capteur initialement prévu est constitué de deux caméras disposées parallèlement à quelques centimètres l une de l autre pour former un système de stéréovision, ainsi qu un logiciel de vision capable de reconnaître à partir des images de ces caméras les références visuelles présentes dans le décor de cette résidence sur les murs ou sur les plafonds (tableaux, décorations, objets, etc.), puis de calculer leurs distances et angles. Les produits de l étude sont une librairie de vision (dll) et un logiciel prototype permettant d évaluer la faisabilité de la détection par vision artificielle. La librairie de vision a été développée spécifiquement pour cette étude afin de réaliser la mesure de 4 paramètres positionnels : L angle horizontal apparent du repère détecté L angle vertical apparent du repère détecté L angle rotatoire apparent du repère détecté La distance apparente du repère détecté L adjectif «apparent» signifie que la librairie calcule des données «brutes» exprimées en coordonnées image et qu il convient ensuite de transformer ces données en mesures de distance et d angles réels en faisant appel à une correction de calibration puis éventuellement à une triangulation. La calibration dépend des paramètres mécaniques du système de stéréovision, distance inter caméra notamment. La triangulation est rendue nécessaire par le fait que pour réaliser une bonne localisation, en général deux repères visuels formant un triangle avec le troisième point constitué par l emplacement des caméras sont nécessaires. 1 Logiciel 1.1 Introduction Le principe de la localisation par la vision est l identification par l image d objets du décor, initialement définis par détourage à la souris de chaque objet, dont la signature est stockée dans une base de données d objets du décor. Une fois l objet identifié dans les deux images décalées par stéréoscopie, les coordonnées image de l objet détecté et leur décalage dans les deux images permettent de remonter à la position de la caméra. Le logiciel réalisé a été décomposé en deux éléments : une librairie informatique dérivée du logiciel URACODE qui renvoie les informations suivantes : l identifiant de l objet reconnu par les deux caméras et la distance apparente entre les objets dans les deux prises de vue. Cette distance permet de remonter à la distance réelle après calibration. La calibration doit être effectuée pour un capteur bi-caméra donné. un programme hôte LOCAVISION qui utilise la librairie informatique et qui au stade actuel sert de programme d évaluation expérimentale. Ce programme ne fonctionne qu avec un seul capteur bi-caméra (prototype expérimental utilisé pour le développement). Il doit servir de programme exemple pour que l exploitant développe une application avec le matériel définitif. La figure 1 donne un aperçu général du programme hôte Locavision Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 48

L écran se décompose en 4 parties : Figure 1 : aperçu général du logiciel Locavision Les 2 images brutes issues du capteur de stéréovision, en haut à gauche L incrustation des résultats sur l une des 2 images, en bas à gauche Les contrôles fonctionnels du logiciel hôte, en haut à droite Les commandes de la librairie dll (réglages et mise au point) en bas à droite 1.2 Les contrôles fonctionnels de Locavision Dans une première approche du programme il est conseillé de n utiliser que ces contrôles pour apprendre au programme de nouveaux objets. Des réglages plus fins concernant l apprentissage sont accessibles directement en programmant la dll (voir également la documentation d Uracode), ce qui peut se faire dans le source, ou en manoeuvrant les boutons et barres de défilement de l écran de réglages et mise au point. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 49

Figure 2 : Contrôles fonctionnels de Locavision L apprentissage d un nouvel objet du décor se fait de la façon suivante : Clicker sur le bouton «initialiser» : cette commande place le logiciel dans un mode où il est possible de définir en cliquant à l aide de la souris les contours d un objet à apprendre (sur la figure 1 un poster). Le détourage n est pas obligatoire. S il n est pas effectué le logiciel apprend la totalité de l image, ce qui est pratique dans le cas où cette image correspond à une surface entièrement place (par exemple une partie de mur contenant un ou plusieurs objets visuels). Cliquer sur le bouton «apprendre» : le processus d apprentissage démarre en alternant successivement dans l une et l autre image la reconnaissance de l objet désigné. Cette reconnaissance lente au départ (1 demi seconde) devient temps réel (40 ms) au bout de quelques instants : le logiciel est alors capable de reconnaître simultanément le même objet dans les deux images et de calculer la distance à partir du décalage d offset horizontal, et d un facteur de calibration. Cliquer sur le bouton «Mémoriser» : la signature de l objet est mémorisée dans unfichier stocké par défaut dans le répertoire courant, ou dans un répertoire spécifié par l entrée UC_in- >Signature[] de la dll Uracode. Dans ce mode, seuls les objets dont la signature est présente en mémoire sont reconnus. Cliquer sur le bouton «Localiser» : tous les objets dont la signature est présente dans le repertoire spécifié par UC_in->Signature[] sont chargés en mémoire. Dix objets peuvent être simultanément présents en mémoire. Pour tester un nombre plus important d objets il faut relancer un cycle Uracode avec de nouvelles valeurs de UC_in->Signature[]. Concernant ce dernier point nous préconisons de travailler de la façon suivante : la connaissance approximative de l emplacement du fauteuil permet de limiter la recherche des objets aux seuls objets possibles. Il n est donc pas utile d échantillonner toute la base ce qui limiterait les performances de Locavision. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 50

1.3 Réglages et mise au point Figure 3 : réglages et mise au point de Locavision Le panel de réglage et de mise au point de Locavision (figure 3) concerne la programmation du composant Logiciel Uracode que le programme exploite. Les boutons UC_INIT, UC_LEARN, UC_MEMORIZE et UC_RECALL sont des modes de fonctionnement bas niveau d Uracode qui sont respectivement déclenchés par les boutons «Initialiser», «Apprendre», «Mémoriser» et «Localiser». La différence entre les deux est que ces derniers fonctionnent en mode «Stéréovision» (2 images) alors que la dll Uracode est faite pour traiter une seule image à la fois. Pour comprendre cette différence il suffit de se reporter au source de l appel à Uracode dans le programme Locavision. Le paramètre «Tolérance» modifie l entrée UC_in->Tolerance du composant logiciel Uracode afin de régler le seuil de détection. Lorsque la détection est difficile il convient de baisser cette valeur. Lorsqu il y a beaucoup d objets en mémoire avec risque de confusion entre objets qui se ressemblent, il convient de l augmenter. Le paramètre «Fréquence» agit sur le délai initial entre l apprentissage de l objet dans une image et dans la seconde image décalée. Il est fixé à 20 cycles par défaut (soit près d une seconde). Il est recommandé de ne pas modifier cette valeur. On peut la diminuer pour rendre l apprentissage plus rapide, ou la rallonger si l objet à apprendre n est pas très bien détecté, cependant dans ce dernier cas il est préférable de diminuer d abord et en priorité la valeur de UC_in->Tolerance. Le paramètre «Threshold» est un réglage de bas niveau agissant sur l extraction de contours qu il est conseillé de ne pas modifier sauf dans certaines situations où un éclairage particulier l impose (par exemple, éclairage déplaçant l histogramme de niveau de gris de l image vers les extrêmes clair ou obscur). Les autres réglages présents dans le panel de réglages concernent la visualisation des résultats Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 51

et ne modifient en rien le processus de reconnaissance et localisation. 2 Matériel 2.1 Choix du matériel de développement Pour des raisons de commodité le prototype choisi a été constitué de deux caméras USB de marque Philips (modèles TOUCAM Pro) de bonne qualité d image, temps réel 30 images par secondes pour un format de 320 x 240, particulièrement faciles à aligner parallèlement l une à l autre à l aide de trois éléments en bois collés sur les supports de caméra à l aide de scotch double face (figure 1). Figure 4 : dispositif stéréo utilisé pour les besoins de l étude Néanmoins ce dispositif rudimentaire, s il s avère très pratique pour la recherche car l alignement peut être obtenu par simple pression (plutôt que d utiliser des vis de réglages fins selon au moins 3 axes, devient problématique pour la calibration à cause des dérives qu il engendre à chaque fois que le dispositif est manipulé et notamment durant son transport. L interface d acquisition d image utilise deux entrées USB d un ordinateur qui peut donc être un simple microordinateur portable. Le standard d acquisition est le protocole DirectShow de Microsoft pour lequel Uratek a développé un SDK adéquat (ensemble de programmes exemples d acquisition et de visualisation), disponibles sous les compilateurs Borland C++ Builder et Microsoft Visual C++, et fourni avec la librairie développée dans le cadre de l étude. L interaxe d u dispositif choisi est d environ 5 cm. Cela signifie qu en pratique nous allons pouvoir chiffrer correctement des distances comprises entre une dizaine de centimètres et une dizaine de mètres : En dessous d une dizaine de centimètres les vecteurs d appariements ont des modules trop élevés (supérieurs à la moitié de la largeur de l image) pour que l appariement soit fiable. Au dessus d une dizaine de mètres les vecteurs d appariments ont un module trop faible pour que la distance soit chiffrée avec une précision satisfaisante. Cet interaxe de 5 cm convient donc bien pour effectuer la détection d objets du décor en environnement intérieur où l on peut supposer que la distance de la caméra aux murs restera généralement comprise entre 30 cm et 3 mètres. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 52

2.2 Réglages et précision Le dispositif prototype utilisé pour le développement de l étude ne permet pas un réglage fin du parallélisme des caméras. Il est cependant possible de tolérer : un petit défaut de positionnement des axes dans un plan vertical qui engendre un léger décalage vertical entre les images. un petit défaut de positionnement des axes dans un plan horizontal qui engendre un léger décalage horizontal entre les images. Ce défaut doit être corrigé par le logiciel prototype en ajoutant une constante à la relation approximativement linéaire qui relie la distance en pixels à la distance en cm. Cette grandeur doit correspondre au décalage horizontal mesuré (fourni par le composant) lorsqu on présente devant le dispositif une image d un décor à l infini (par exemple un paysage assez lointain en extérieur). Pour faire un calcul plus exact, on peut obtenir une très bonne estimation de la distance pour chaque module de vecteur d appariement (décalage horizontal entre les deux images) avec la formule approximative: dans laquelle : di = Distance correspondant à l appariement I = Interaxe entre caméras α = Angle d ouverture Rx = Résolution horizontale (nombre de pixels) Vi = Module du vecteur de l appariement V0 = Module des vecteurs à l infini Cette formule simplifiée suppose que les décalages sont faibles. Par ailleurs une formulation plus exacte (et plus complexe) devrait faire intervenir la position du vecteur dans l image et prendre en compte une calibration géométrique de la matrice de pixels. Il ne nous semble pas utile de pousser la précision à ce point étant donné que le logiciel de détection ne fournit pas une mesure assez précise du décalage. Cette mesure dépend du nombre de pas de temps pendant lesquels elle est effectuée. Nous verrons dans la suite que la précision de localisation instantanée est assez faible (quelques centimètres) et que pour obtenir une précision centimétrique il convient de moyenner les résultats obtenus sur quelques pas de temps (moins d une dizaine). 3 Méthodes 3.1 Principe Le principe proposé pour l exploitation du logiciel de base fourni afin d aboutir à la détection en tout point des références visuelles permettant la localisation du fauteuil est le suivant : Un point de mesure fournit au moins une référence visuelle par rapport à laquelle il est possible de remonter à : La distance d entre le capteur et cette référence L angle α entre l axe du capteur et l axe qui relie le capteur et la référence Si l on suppose que le capteur est toujours horizontal, il subsiste une indétermination : L angle entre l axe du capteur et l orientation de la pièce. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 53

Figure 5 : Indétermination résultant de l exploitation d une seule position de mesure La figure 5 illustre ce calcul et l indétermination qui en résulte si on utilise qu une seule position de mesure. Pour lever cette indétermination il existe deux méthodes qui permettent de faire la triangulation nécessaire au calcul de la position absolue : 1/ prises de vue à angles ou champs distincts en un lieu donné, caméras mobiles, 2/ prises de vue à angles ou champs distincts en un lieu donné, avec 2 capteurs. Nos expérimentations avec un seul capteur bi caméra ont mis en évidence des inconvénients de la première méthode : pour que l identification de l objet soit satisfaisante le déplacement purement angulaire de la caméra (du fauteuil) doit être relativement lent. Pour détecter 2 objets à 90 d angle la vitesse angulaire des caméras ne doit pas dépasser 30 par seconde environ. Il faut donc attendre environ 3 secondes entre 2 mesures pour pouvoir faire une triangulation. 3.2 Triangulation La triangulation proposée peut s effectuer de deux manières : de façon simultanée, en utilisant 2 capteurs c est à dire 4 caméras, durant un intervalle de temps pendant lequel le capteur change d orientation, en utilisant un seul capteur. Dans ce dernier cas, on peut envisager dans certains cas l économie de la seconde prise de mesure si la distance entre le premier capteur et le mur occulté est déjà connue. Figure 6 : principe de la triangulation Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 54

3.3 Localisation pendant le déplacement Le processus de localisation durant le déplacement du fauteuil nécessite au préalable la constitution d une base de références visuelles qui peut être organisée de la façon suivante : Pour chaque mètre carré de surface au sol sont mémorisées une dizaine de références (ou signatures) au maximum, par exemple selon 8 orientations. Le nombre d orientations choisies dépend de l objectif utilisé. Pour nos essais nous avons utilisé un objectif standard de Webcam que nous ne pouvions remplacer par un grand angle, mais il est fortement recommandé d utiliser un grand angle (90 à 120 ) de manière à limiter le nombre de références et éviter les zones d ombre. Une fois constituée cette base, le processus de localisation charge dans sa mémoire interne dite mémoire immédiate les références pour la position approximative concernée déterminée par un carré au sol. La taille de ce carré n est pas nécessairement de 1 mètre, elle peut être augmentée ou diminuée selon que l on se rapproche plus ou moins des murs. Lorsque le logiciel (à réaliser) ne trouve pas de références dans le carré concerné il doit effectuer sa recherche dans les carrés limitrophes en chargeant dans sa mémoire immédiate les nouveaux objets. Ce processus implique une augmentation très transitoire du nombre de cycles (1 à 4) qui est acceptable dans la mesure où elle est ponctuelle (passage d un carré à un autre). Le principe de la localisation se résume donc par l organigramme simplifié suivant : Cet organigramme nécessite une initialisation pendant laquelle tous les carrés de la base seront explorés jusqu à trouver le carré contenant les références observées. Cette initialisation prend un temps égal à 40 ms multiplié par le nombre de carrés, c est à dire quelques secondes pour un appartement ordinaire. Il est possible de réduire ce temps de différentes manières, par exemple à partir de la connaissance à priori de la pièce où se trouve le fauteuil, ou par utilisation du grand angle recommandé. 3.4 Cas particulier du déplacement vers une cible Le processus de localisation peut être fortement simplifié en utilisant des cibles orientées dans la direction du déplacement. Ces cibles sont constituées de références visuelles servant de points de repères placés dans la direction du déplacement du fauteuil. Elles peuvent être situées par exemple au fond d un couloir ou à l intérieur d une pièce en ayant en commun le fait que la trajectoire du fauteuil conserve pendant un temps non négligeable cette référence dans son champ de vision, soit en s en rapprochant, soit en s en éloignant. Le déplacement a donc pour effet de grossir (zoomer sur) la référence visuelle ou l effet contraire (éloignement). Dans ce cas particulier il est fortement conseillé d utiliser une succession de détourages de la référence sur des parties de l objet concerné de manière à conserver une taille apparente raisonnable de la référence dans le champ de vision. Par exemple sur la figure 7, lorsque le Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 55

fauteuil se rapproche du poster il va remplacer la référence du poster complet par une référence qui zoome sur une partie du poster, et ainsi de suite. Figure 7 : Changement de référence pendant l approche L avantage de ce changement de référence pendant l approche d une cible (ici, une partie du poster) est qu il est beaucoup plus facile de calculer la trajectoire sans avoir besoin d utiliser constamment une deuxième référence pour la triangulation. Cette triangulation peut être effectuée une fois, suite à quoi aussi longtemps que la même référence reste dans le champ de vision il est aisé de calculer la trajectoire avec une seule référence puisqu on garde en mémoire constamment le point d origine du vecteur déplacement, déplacé de proche en proche dans la direction de ce vecteur. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 56

4 Difficultés La première difficulté du projet vient de l indétermination résiduelle qui résulte du fait que la connaissance de la position angulaire de l objet et de sa distance (3 degrés de liberté) ne suffit pas à déterminer la position du capteur bi-caméra (5 degrés de liberté en supposant qu il est positionné à l horizontale non incliné), sauf dans certains cas particuliers. Une solution vision de type URACODE pour ce projet apparaît donc assez «lourde» dans la mesure où elle nécessite un capteur comportant 2 x 2 = 4 caméras, nécessaires pour la triangulation. Elle reste néanmoins faisable. L utilisation de 4 caméras (au lieu de 2) pourrait être évitée en utilisant un objectif à grand angle. Mais d autres facteurs accentuent le besoin de travailler avec un capteur assez élaboré : il est important que les caméras parallèles soient solidairement bien liées entre elles, car tout déplacement relatif, même minime, engendre des imprécisions sur la distance. Une deuxième difficulté provient du fait que la précision théorique, lorsque les caméras sont parfaitement fixes, est de l ordre de 2 cm pour des objets situés à 2 mètres. Cette précision n est cependant atteinte avec le capteur actuel qu en moyennant les données issues de 5 images successives au moins, ce qui rend la mesure non temps réel. Par ailleurs, le simple fait de manipuler le capteur prototype dont nous disposons en le transportant ou en le posant, engendre une imprécision de dérive qui peut largement dépasser 10 cm. Le dispositif matériel actuel a donc besoin d être amélioré si l on veut conserver le principe de la stéréovision. Devant ces deux principales difficultés (essentiellement : besoin de triangulation, complexité et imprécision du capteur) nous avons réfléchi à d autres méthodes de localisation par la vision n utilisant pas la stéréoscopie mais toujours à base de caméras multiples. Si l on fait l hypothèse que le capteur est toujours à la même distance du sol et solidairement lié au fauteuil, on réduit le nombre de mesures à effectuer. On peut également améliorer la précision des mesures en reconnaissant simultanément deux objets dans une image au lieu d un seul comme c est le cas actuellement : on calcule ainsi la distance sans méthode de stéréoscopie. L expérimentation de cette dernière méthode nous a offert deux alternatives : - utilisation de caméras à grand angle (90 à 120 ), non encore expérimentée - utilisation de marqueurs discrets Nous avons expérimenté cette dernière méthode à l aide d autocollants gris de 1 cm de diamètre, tout à fait discrets (non invasifs), positionnés sur les murs. Nous avons obtenu des résultats très satisfaisants en travaillant dans le proche infrarouge (en filtrant la lumière visible). Dans la mesure où l usage de marqueurs discrets serait accepté, nous recommandons donc fortement cette deuxième solution dont nous allons maintenant présenter le principe. 5. Nouvelle solution 5.1 Principe de détection dans le proche infrarouge La nouvelle solution VISION que nous proposons à la localisation du mouvement du fauteuil repose sur l usage de marqueurs discrets (parfois même invisibles à l oeil nu) positionnés sur les murs ou sur le plafond, et éclairés dans le proche infrarouge par une source de diodes électroluminescentes (Leds) à faible consommation éclairant dans direction du champ de vision. Ce type de solution alternative a déjà été proposé, étudié et réalisé par Uratek pour différentes applications: Application militaire : la localisation du point visé par un tireur dans un environnement externe sujet à de grandes variations de luminosité fait appel à des projecteurs infrarouges disséminés dans le village d entraînement au combat. Application automobile : la localisation de la position de la tête d un conducteur d automobile équipé d un capteur incluant une caméra de scène fait appel à des marqueurs réfléchissant les rayons infrarouges issus d une source à Leds. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 57

Application industrielle : la sécurisation des ouvriers travaillant sur des sites industriels dangereux nécessite la détection de présence humaine jusqu à 5 mètres à l arrière des convoyeurs industriels utilisés pour transporter des charges lourdes. Cette détection est opérée à l aide d infrarouges réfléchis par les bandes rétro-réfléchissantes des gilets de haute visibilité portés par les ouvriers. Le point commun entre ces applications est la présence de lumière solaire qui engendre une forte variabilité d aspect des images. Pour résoudre ce problème on fait appel à une source proche infrarouge captée par les caméras CCD et à un filtrage optique spécifique permettant de ne travailler que dans la bande d émission d infrarouge. Figure 8 : Ci-dessus, image non filtrée : les repères sont discrets (invisibles). Ci-dessous, image filtrée (filtre Wratten 87C) avec éclairage dans le proche infrarouge : Les repères ont un fort rapport signal sur bruit. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 58

La figure 8 illustre le principe du filtrage optique qui permet la détection de points rétro réfléchissants éclairés dans le proche infrarouge. On utilise ici des marqueurs autocollants discrets et circulaires de 1 cm de diamètre en tissu gris rétro-réfléchissant, du type utilisé dans les gilets de haute visibilité. Ces marqueurs réfléchissent la lumière dans la même direction que le rayonnement émis. On utilise un rayonnement proche infrarouge totalement non intrusif et détectable dans la bande de sensibilité infrarouge des caméras CCD, émis par des diodes de relativement faible puissance (basse consommation) qui éclairent le décor dans la direction du champ de vision. Pour que le rayonnement réfléchi par les marqueurs ne soit pas noyé par l éclairage ambiant on utilise un filtre Kodak Wratten 87C qui coupe la bande visible entre 400 et 750 nm, ne laissant passer que le rayonnement au dessus de 800 nm. Nous avons également testé le filtre 89B, qui a l avantage d être plus adapté aux caméras pour lesquelles on ne peut pas retirer l IR_CUT interne, ce qui est souvent le cas des webcams. Figure 9 : Filtres testés pour couper le rayonnement visibleafin d améliorer le rapport signal sur bruit des marqueurs Nous recommandons l usage d un CCD Sony sans IR CUT avec le filtre Wratten 87C. L image du bas de la figure 8 a été obtenue avec un camescope SONY PC330 équipé du même filtre et réglé dans son mode Nigh Shot qui permet de retirer l IR_CUT. Ce même caméscope est équipé de diodes éclairant le champ de vision dans l infrarouge. Cette solution a l avantage de générer une image avec un très bon rapport signal sur bruit des marqueurs, ce que nous avons pu vérifier avec le Camescope PC330. Mais on peut encore améliorer ce rapport signal sur bruit en utilisant à la place ou en complément du filtre Wratten 87C un filtre passe bande autour de la longueur d onde d émission des diodes. Cette longueur d onde variable dépend des diodes choisies. La figure 10 en illustre le principe. Figure 10 : Schéma de principe de l utilisation d un filtre passe bande ID850. Projet WAD Compte rendu de fin de recherche Décision N 04 T 573 P.Mallet 20 Mars 2007 59