Robot de Téléprésence

Robot de Téléprésence Projet innovant BISCH Simon / FOURURE Florian / VICENTE VALVERDE César 12

Sommaire Introduction... 3 Description du projet... 4 Logiciel de vidéoconférence : Linphone... 5 La connexion... 5 L enregistrement... 5 L appel... 6 Commander le Robot... 7 Le serveur Web... 8 Le Robot... 9 Matériels... 9 Electronique... 10 Module BlueTooth :... 10 Module de gestion de capteur... 11 Carte de puissance... 12 Régulateur... 14 Extensions... 14 La tête du robot... 14 Parcours d un musée... 15 Reconnaissance de QR code... 15 Vision 3D... 15 Mini vidéoprojecteur... 15 Conclusion... 16 Remerciements... 16 2

Introduction Certaines personnes, dans leur vie de tous les jours, peuvent être amenées à ne pas pouvoir être à un endroit et rater un événement capital de leur vie. La capacité d être à deux endroits différents de la planète à toujours été un rêve pour l humanité. On peut le voir grâce au cinéma de science fiction par exemple, qui reflète une certaine vision des hommes de l avenir. Le film «Clones» de Jonathan Mostow renvoi cette image d avenir désiré. Ils se voient plus tard contrôler des robots grâce auquel ils interagiront avec d autres personne. D un autre côté, les scientifiques cherchent à rendre réelle ces fictions et aujourd hui, grâce à eux, les premiers robots de Téléprésence voient le jour. Ils ont pour but de facilité la vie des êtres humains, de rendre possible ce qui leur est impossible pour certains. Un enfant hospitalisé pourra désormais être présent lors des grandes fêtes de famille ou encore l homme d affaire ne pouvant se rendre de l autre côté de la planète pour assisté à une importante réunion pourra de chez lui y assister et même interagir avec les autres membres de la réunion! On peut lister tout les avantages de ces petits robots qui peuvent nous changer la vie. La Science, elle, évolue encore et encore. On peut toujours améliorer un projet qui, à son commencement, paraissait impossible à réaliser! Mais bien que la science avance à grand pas, tout le monde n a pas les moyens de se procurer ses machines révolutionnaire! C est dans ce cadre la que les logiciels libres interviennent! C est ces personnes motivé, qui vont permettre l accès, pour la plupart, des nouvelles technologies en développant des logiciels gratuits pour tous, et ainsi créer des robots similaires aux robots proposé par les scientifiques innovateurs mais à moindre coût. C est dans cet esprit là que nous avons projeté de construire un robot de Téléprésence pouvant être accessible à la plupart. Alors une question se pose pour beaucoup de personnes qu est ce qu un robot peut apporter de plus qu un simple logiciel de conférence? Qu elle est l utilité de se déplacer? Il est vrai que l on peut très bien mettre un pc fixe lors d une réunion pour la suivre tout simplement mais est-ce que le plus important se passe dans les réunions avec une centaine de personnes? Le But de ce projet est de permettre à l utilisateur d accompagner les personnes présentes, leur parler directement après les réunions autour d un café ou lors d une pause. Voila l utilité de ce déplacer, l utilisateur sens que c est lui qui contrôle le robot et donc est plus attentif au monde qu il voit à travers son écran. Il «vivra» à travers le robot. 3

Description du projet Notre projet consistera à créer une maquette de robot de Téléprésence, d implémenter le logiciel de Visio conférence ainsi que de permettre à l utilisateur de contrôler son robot. Bien sur, tout le monde ne peut pas avoir son propre robot attitré sinon cela perdrait son utilité, on n enverra pas un robot aux états unis pour assister à une réunion et demander à quelqu un de le ramené après Nous avons donc pensée à faire une communauté sur internet afin de permettre aux utilisateurs de pouvoir se rendre à des endroits éloignés en quelques clics. Pour permettre cela, nous allons implémenter un serveur web qui servira à gérer les réservations de robots aux différents endroits de la planète. Pour mener à bien ce projet, nous avons choisit d utiliser le logiciel libre Linphone qui permettra de créer une Visio conférence entre le robot et l utilisateur. Nous allons rajouter une couche à ce logiciel afin qu il permette de contrôler notre robot et qu il puisse implémenter différentes aides à l utilisateur. En ce qui concerne la maquette du robot, nous avons choisit d utilisé comme base un robot aspirateur Koënig. Nous contrôlerons cette base grâce à une carte Arduino muni d une carte Bluetooth pour permettre la transmission des ordres de commande de l utilisateur. Dans un premier temps, nous allons utiliser un téléphone portable Androïd pour utiliser le logiciel de Visio conférence sur le robot. Grâce à ce téléphone, nous serons en mesure de recevoir les ordres de l utilisateur de les transférer directement à la carte Arduino qui fera tourner les moteurs des roues. Une fois le projet achevé nous arrivons au résultat ci-dessous : Bien que ce robot soit assez rudimentaire, nous espérons que dans un avenir proche les principes de ce projet soit repris pour créer un robot avec une certaine classe. 4

Logiciel de vidéoconférence : Linphone Robot de Téléprésence 2012 Comme nous l avons dit plus haut, nous avons choisit d utilisé le logiciel libre Linphone pour le modifier. Linphone est un logiciel créé par la société Belledonne Communications fondée en 2007 par Simon Morlat, le fondateur du logiciel. La société est basée à Grenoble d où notre choix pour ce logiciel. Nous allons maintenant aborder la partie conception de notre logiciel. La connexion Une question nous a interpellé au cours de notre projet : comment s établie la connexion entre deux machines avec Linphone? Nous avons dans un premier temps fait des tests sur l utilisation du logiciel et grâce à un logiciel de capture de paquet (Wireshark) nous avons su déterminé les communications suivantes : L enregistrement En premier lieu, lors du lancement du logiciel, la machine envoie un paquet de registration à un serveur distant. En Analysant ce paquet, nous nous sommes aperçu qu il s agissait d un paquet SIP (Session Initiation Protocol). Ce protocole permet d ouvrir une session avec un serveur utilisant le même protocole. Ainsi la machine est maintenant en ligne pour le serveur. Au préalable de cette manipulation, il faut bien évidement créé un compte sur le serveur de registration de Linphone : «sip.linphone.org». Nous avons donc crée deux comptes sur le serveur : - login : simon.bisch@sip.linphone.org - login : kivan_42@sip.linphone.org Dans un premier temps, nous allons utiliser ce serveur de registration, dans une extension de notre projet nous pourrons créer notre propre serveur SIP pour pouvoir gérer toutes les connexions de notre robot. Nous avons donc en premier lieu l enregistrement du client sur le serveur gratuit de Linphone résumé par le schéma ci-dessous : Demande d authentification Client Serveur SIP Authentification réussi 5

L appel Une fois que les deux machines sont enregistrées auprès du serveur SIP avec deux identifiants différents, la machine de l utilisateur va essayer de se connecter au robot. Pour cela, elle va demander au serveur si le robot est connecté. S il est connecté, alors il va démarrer les tonalités d appel chez le robot. S il l appel est accepté, alors la machine utilisateur et le robot crée chacun deux flux UDP (User Datagramme Protocol) : un flux audio et un flux vidéo. Dans le cadre de notre projet, nous avons fait en sorte que les appels reçus par le robot soient automatiquement décroché (si le robot n est pas déjà monopolisé). On peut ainsi résumer ceci grâce au schéma ci-dessous : Serveur SIP Demande d appel Appel accepté répondre appel Client Robot Flux UDP audio et vidéo du robot vers le client et du client vers le robot 6

Commander le Robot Une fois que l on est en connexion avec le robot, il va falloir bien sûr le commander. Or Linphone n implémente pas cette fonctionnalité. Par contre, grâce à Linphone on peut envoyer des messages de type Chat. Ainsi, nous pouvons envoyer au robot nos messages de commandement grâce à cette fonctionnalité. Nous avons donc choisit des types des messages String à envoyer au robot. Tout les messages seront préfixé de «VitesseMoteur» suivi du numéro attribué au moteur et enfin la vitesse que le moteur doit prendre (entre 0 et 255). Voici un petit exemple : - VitesseMoteur1 :255 : Le moteur 1 va tourner à son maximum dans le sens des aiguilles d une montre. - VitesseMoteur2 : -255 : Le moteur 2 va tourner à son maximum dans le sens inverse des aiguilles d une montre. Grâce à ces commandes, en les combinant, nous sommes en mesure de pouvoir faire faire au robot les commandes les plus basiques : - Avancer : o VitesseMoteur1 :255 o VitesseMoteur2 :255 - Reculer : o VitesseMoteur1 :-255 o VitesseMoteur2 :-255 - Tourner sur lui-même : o VitesseMoteur1 :255 o VitesseMoteur2 :-255 - Tourner autour d une roue : o VitesseMoteur1 :255 o VitesseMoteur2 :0 - Arrêt : o VitesseMoteur1 :0 o VitesseMoteur2 :0 Ainsi, nous arrivons à contrôler le robot à distance. Mais il se peut que le robot aussi est des informations à remonter à l utilisateur. Par exemple, si le robot va heurter un mur que l utilisateur n avais pas vu. Pour cela nous utiliserons le même espace d échange que nous avons créé pour l envoi des commandes sauf que cette fois ci, ce sera le Robot qui enverra un message à l utilisateur. Pour l instant, sur notre robot nous n avons qu une information à faire remonter. Celle qui avertit l utilisateur qu il a rencontré un obstacle. Nous avons donc choisit cette syntaxe pour le message : - Obstacle : C est un nom générique qui défini un obstacle matériel (un mur, une chaise ) et aussi le vide (escalier, balcon ) C est bien sûr une liste non exhaustive que les personnes qui vont reprendre notre projet s empresseront de compléter. 7

Le serveur Web Une particularité de notre projet est qu il peut être accessible à tous. Il faut donc définir certaines règles. Une des premières règles que nous pouvons aisément définir est de ne pas connecter plusieurs utilisateurs sur un même robot! Pour cela, nous avons crée un serveur web qui permettra la réservation du robot en ligne! Ainsi une personne non autorisé ne pourra se connecter au robot. Pour cela, nous avons implémenté un serveur Web muni d une base de données MySQL. Le serveur WEB servira aux clients qui veulent de réserver le robot selon leur bon vouloir. Ils pourront ainsi consulter les réservations faites et les plages horaires disponibles. Pour une meilleure utilisation du robot, nous avons fait les choix suivant : - Un utilisateur peut se connecter que dans la tranche horaire qu il aura au préalable réserver grâce au serveur WEB. - Lorsqu un utilisateur dépasse sa tranche horaire, vu que pour l instant la réservation du robot est gratuite, nous ne coupons pas sa connexion. - Par contre lorsqu un utilisateur qui a réservé sa tranche horaire se connecte au robot, s il y a déjà quelqu un sur le robot, il sera automatiquement déconnecté. Bien entendu, le gérant du robot doit veiller à ce que le robot soit toujours alimenté, c est pour cela qu il peut mettre en maintenance. Dans ce cas la il le renseigne dans la base de données. Il pourra selon son bon vouloir déconnecté un utilisateur qui a dépassé son temps pour pouvoir recharger le robot. Nous avons donc choisit de créer une base de données une table comportant les champs ci dessous : - id : l identifiant de la réservation - adresse : adresse du client sip (de type simon@sip.linphone.org) - debut : date de début de la réservation - fin : date de fin de la réservation Par défaut, la durée d une réservation sera d une heure, la durée maximale sera de 3h par jour. Pour ne pas qu un utilisateur monopolise le robot éternellement. Si le système de réservation marche très bien dans l avenir nous pourrons revoir l implémentation du serveur web en intégrant une hiérarchie de serveur avec un serveur maître et des esclaves pour gérer des robots en quantité multiple. 8

Pour le moment, notre architecture se résume à ceci : Serveur WEB Serveur SIP Demande d appel appel Appel accepté Appel accepté Demande de connexion L identifiant est inscrit : acceptation de la connexion Client Robot Flux UDP audio et vidéo du robot vers le client et du client vers le robot Le Robot Matériels Pour réaliser ce robot de télé-présence, nous avons utilisé un Robot aspirateur auquel nous avons retiré le moteur utilisé pour l aspiration et le circuit imprimer. (Nous avons gardé seulement la coque, les moteurs des roues, les capteurs et la batterie). Ensuite nous avons rajouté une carte Arduino avec quatre modules supplémentaires (plus amplement décrits dans la partie suivante) : Pour résumé : - Une carte de puissance, pour que l Arduino puisse contrôler des moteurs de "grosse" puissance. - Un régulateur de tension. Les moteurs étant en 9V et la batterie du robot en 14V il faut nécessairement un régulateur. - Un module Bluetooth pour que n importe quel téléphone puisse contrôler le robot. - Un module de gestion des capteurs. 9

Module de gestion des capteurs Carte Arduino Module BlueTooth Carte de puissance Moteurs Electronique Module BlueTooth : Nous communiquons avec l Arduino par le biais d un module BlueTooth. L avantage du BlueTooth par rapport a la communication série et le fait que n importe quel téléphone qui à installer l application peut alors contrôler le robot. Toute personne qui possède une tablette pour travail pourra alors "offrir" un robot de télé-présence lors de réunion. De plus pour l utilisation du BlueTooth le téléphone/tablette n a pas besoin d être rooter pour pouvoir être utilisé. Le module BlueTooth est branché sur les pattes 1 et 2 de l Arduino. Du coté téléphone l application amarino doit être installé pour la communication BlueTooth. Module BlueTooth Pour communiquer avec l Arduino nous utilisons une méthode JAVA : send(code,chaine). Le code est un caractère, celui-ci permet de définir a quel fonction d Arduino la chaine seras envoyer. Ainsi nous avons choisit le code a pour commander le moteur 1 et le code b pour le moteur 2. La chaine doit être un entier entre -255 et 255 (sinon il sera ramené soit a 255 soit a -255) 10

Module de gestion de capteur Des capteurs de présence/vide étaient déjà présents sur le robot aspirateur. Ces capteurs sont en réalité une led infrarouge et un capteur infrarouge. Lorsque le robot ce retrouve dans le vide le capteur infrarouge je vois plus la lumière qui est censé réfléchir sur le sol. Lorsque le robot rentre dans un obstacle, les capteurs "rentre" dans le robot masquent alors la led infrarouge. Et donc le capteur ne remarque rien. Pour le robot un vide et donc égale à un obstacle. Pour chaque capteur nous avons réalisé ce circuit éléctronique : 5V Resitance LED infrarouge Resitance Capteur infrarouge Entrée analogique Arduino Ainsi lorsque le capteur ne capte pas d infrarouge l Arduino reçoit du 5V en entré. Sinon l entré est inférieur.(une amélioration consisterais a branche l entrée de l Arduino après le capteur, pour que celle-ci soit 0 si il y a un obstacle supérieur sinon. De plus l écart serait plus "flagrant") Capteur + LED infrarouge Emplacement pour brancher les capteurs Circuit (couche2) - Capteur 11

Carte de puissance L Arduino délivrent du 5V en sortie de ces port (et un ampérage extrêmement faible). C est pourquoi il faut une carte de puissance. Grace à celle-ci une faible tension peut piloter une tension élevée. Cette carte correspond à un pont en H. 1 2 3 Lorsque l on l entrée 1 est valide (tension en entrée) le moteur tourne dans un sens. Lorsque l entrée 2 est valide le moteur tourne dans l autre sens. ATTENTION, il ne faut absolument pas validée les deux au même moment. Sinon l on crée un court circuit. C est pourquoi nous avons choisit de définir les deux entrée tel quel : 1 Porte NAND 2 Ainsi les entrées 1 et 2 sont forcément contraires. Et de plus il ne faut plus qu une entrée pour commande le sens du robot. Pour piloter la vitesse du robot nous utilisons l entrée 3. Lorsque celle-ci n est pas valide le moteur n est pas en marche, et inversement. Pour réguler la vitesse il nous suffit de commuter l entrée 3 rapidement. Ainsi si l on valide l entrée, puis nous l arrêtons le même temps, le moteur avanceras à 50% de ca puissance. Arduino permet de faire cela facilement. Il utilise la technologie PWD. Il permet de sélectionner 255 valeurs différentes de PWD. 12

Voici le circuit final : Pont en H Endroit où brancher les moteurs 13

Régulateur Les moteurs du robot fonctionne en 9V seulement la batterie du robot délivre du 14V il faut donc un régulateur pour réduire la tension. Ce régulateur à était réalisé avec l aide des professeurs de la filière 3I. Régulateur (Brancher la batterie sur les deux fils) Extensions Dans cette partie, nous allons présenter les différentes extensions que nous aurions pu faire mais que nous n avons pas faites par manque de temps. Mais nous espérons que dans un futur proche quelqu un reprenne notre projet et le continue pour le rendre vraiment opérationnel et attractif. La tête du robot Avant toute chose, le robot n a pour l instant pas de «tête». Il faudrait implémenter un système de caméra sur le robot monté sur cerveaux moteurs afin que le client puisse bouger sa tête. Pour cela, en matière de matériel, il faudrait brancher la caméra en USB à la tablette tactile puis connecter les cerveaux moteurs à la carte Arduino. Bien évidement, il va falloir créer une structure plus robuste pour supporter la tête. En ce qui concerne la partie logiciel de cette extension, il faudra définir de nouvelle commandes dans la partie Linphone et aussi modifier le logiciel intégré à l arduino pour qu il prenne en compte les ordres demandé. 14

Parcours d un musée L une des principales utilités de ce robot de Téléprésence est de permettre aux personnes invalides de parcourir un musée. Pour cela, on peut imaginer une visite guidé du musée en temps réelle, c'est-à-dire implémentation d un parcours avec des localisateurs (infrarouge) grâce auquel le robot se localisera. On pourra aussi penser à implémenter une commande vocale du coté utilisateur. Une personne veut voir la «Joconde», elle se connecte à son robot dans le Louvre d énoncer «Joconde» et le robot doit alors aller dans la salle de la Joconde. Reconnaissance de QR code Grâce aux images envoyées par le robot, le logiciel coté client pourra faire du traitement vidéo et ainsi reconnaître des QR code dans l écran pour afficher les liens qu il énonce dans une boite de dialogue pour que l utilisateur n ai plus qu à cliquer sur le liens pour être directement sur le site énoncé par le QR Code. Vision 3D Pour faire de la vision 3d, il va falloir avoir deux cameras séparer par une distance nécessaire pour avoir du rendu 3D. Le logiciel du robot devra envoyer les deux flux vidéo et c est la machine de l utilisateur qui calculera le rendu 3d. Mini vidéoprojecteur Dans le cadre d une réunion, l utilisateur peut être amené à montrer un document aux autres membres. Pour cela il faudra implémenter un mini vidéoprojecteur sur le robot branché en mini hdmi à la tablette tactile. Le vidéoprojecteur s allumera quand l utilisateur glissera un document dans une fenêtre prévu à cet effet. En matière de logiciel, il faudra définir un format de fichier unique (pdf?) pour envoyer le fichier au robot. L utilisateur contrôlera l écran du vidéoprojecteur grâce à une fenêtre annexe pour descendre ou zoomer dans le document par exemple La liste de ces extensions est bien sûr non exhaustive, on pourra toujours trouver des petites implémentations qui permettront d augmenter les possibilités du robot. 15

Conclusion Pour conclure, ce projet est vraiment dans le cœur des actualités scientifique du moment. Même si nous avons fait une infime partit de ce que représente le projet, nous sommes heureux d avoir contribué à mettre en place cette outils. En effet, nous n avons pas pu finir tout ce qui était demandé. Tout d abord par manque de temps mais aussi nous nous sommes souvent bloqués sur des points plus ou moins essentiels au projet. Tout d abord, en ce qui concerne Linphone, il nous a fallu un voir deux bon mois avant de comprendre et de compiler le code source. Le fait d utiliser un logiciel tout fait est excellent en soit mais pour modifier un code source de plus de 100 000 lignes de code, il faut avoir quelques petites connaissances de base. De plus, nous avons eu pas mal de problème de connexion wifi car le réseau utilisé par l école ne permet pas la communication en SIP. Nous ne pouvions pas du coup travailler à Polytech. Nous nous sommes donc lancé dans la configuration d un serveur SIP pour travailler dans un réseau locale mais vu que nous n arrivions pas à créer un point d accès wifi et qu il est nécessaire pour communiquer avec le portable sur le robot. Nous nous sommes donc plus concentrés sur la création du robot à l aide de la carte électronique Arduino. Malgré cela, nous avons réussit à créer un commencement de projet qui pourra servir de base pour de nombreux projets à venir. Remerciements Nous tenons à remercier les personnes qui nous ont aidés tout au long du projet : - Sylvain Berfini : pour son aide et ses explications sur le logiciel Linphone, - Le LOG (Laboratoire Ouvert de Grenoble) : pour ses explications en matière d électronique, - David Eon : pour son aide pour les parties electroniques, - Didier Donsez : pour sa créativité dans le cadre du projet 16