Sommaire. Leap motion Technologie Fonctionnement Langages utilisés Possibilités d utilisation... 4

Transcription

1 Leap4Skywalker

2 Sommaire Leap motion... 2 Technologie... 2 Fonctionnement... 3 Langages utilisés... 3 Possibilités d utilisation... 4 Projet développé avec le LeapMotion... 4 Imagination... 5 Technologies concurrentes... 5 Limites... 7 Applications

3 Leap motion Le Leap motion est un boîtier de dimension 80 mm sur 12,7 mm, qui se branche à un ordinateur en USB. Son but est de reconnaître les mouvements des mains pour les transformer en une action précise. Il s agit donc d un capteur qui permet de faire l intermédiaire entre les gestes de la main et l ordinateur pour interpréter ces gestes et les transmettre à la machine. Caractéristiques techniques : Deux caméras monochromatiques 3 LEDS infrarouge Synthétisation 3D des images 2D prisent par les deux caméras Meilleure résolution et zone d'observation plus petite que Kinect (Kinect est plus dédié à tout le corps) Perturbé par les sources externes de lumière infrarouges Précision spatiale de 0,01 mm Technologie Leap Motion est un périphérique de détection de mouvement des mains, crée en 2010 par les co-fondateurs Michael Buckwald et David Holz. Leap Motion se branche en USB sur un ordinateur, et s adapte à tout type d exploitation (Windows 7-8/MacOs). Pour utiliser le périphérique, il suffit de télécharger et d installer le pilote adéquat. Ce boîtier placé près de l ordinateur, auquel il est branché en USB, permet de déterminer la position des mains dans un rayon de 1 mètre avec une précision de 1/100 ème mm rafraichie à la fréquence de 200 Hz (en comparaison à 30Hz pour le Kinect de Microsoft). L objet en question est composé intérieurement de deux caméras de 1,3 MP filmant vers le haut, les moindres gestes de la personne se trouvant à moins d un mètre. En réalité, le boîtier ne filme pas mais est doté de 3 LEDs qui leur indiquent la position des mains de l utilisateur dans son champ de vision. On dit que les caméras «ne prennent pas d image, mais servent à remonter les trames». 2

4 Bien que le boîtier soit déjà en vente et proposé par des sites américains à un prix tout à fait raisonnable (80 euros), il reste néanmoins un périphérique extérieur a la machine et requerra un branchement sur le port USB afin de profiter de son utilisation. C est pourquoi, Asus s est associé avec la société éponyme pour développer le principe et l incorporer dans les ordinateurs portables et claviers. Il en est de même pour Hewlett-Packard (HP). Fonctionnement Pour utiliser Leap Motion, il faut au préalable télécharger et installer AirSpace, qui n est autre que l App Store de Leap Motion. L App Store de Leap motion étant pauvre en application, l on retrouve néanmoins l applicatif «Orientation», qui aura pour but de nous familiariser avec l appareil et d en connaître ses limites. En théorie, le Leap motion a une capacité de reconnaissance de 4 mains donc 20 doigts or en pratique, il devient difficile de pouvoir calculer la position des 4 mains. Il faut également noter que la luminosité de la pièce dans laquelle on manipule Leap motion joue un rôle important. En effet, plus la luminosité est faible, moins le capteur de détection des mouvements est précis, étant donné qu il ne travaille uniquement que sur ces 3 LEDs, sans l appui de ces 2 caméras. Langages utilisés Les langages supportés par Leap motion sont : C, C++, C#, Python et Java. (Cette partie est encore en développement dans un document séparé). 3

5 Possibilités d utilisation Les possibilités d usage de cet appareil sont énormes mais reste limitées tant à son fonctionnement. Un certain nombre d exemples peuvent être cité : - Divertissement : dessin en 3D - Jeux : jouer à un jeu vidéo qui ait recourt aux gestes de la main (jeux à la 1 ère personne) - Musique : jouer d un instrument - Education : parcourir l espace et découvrir les planètes - Multimédia : retrouver et visualiser ces photos et vidéos - Web : naviguer sur internet Projet développé avec le LeapMotion Cette nouvelle technologie proposée au grand publique depuis juillet 2013, est un exemple parfait des efforts qui sont fait en termes d innovation concernant les Interfaces Hommes Machines. En cherchant un peu partout sur la toile, on peut constater qu en juste quelques mois après sa sortie de nombreux projets ont déjà été réalisés avec cet outil. Quelques projets réalisés avec le Leap 1. Intégration du Leap à des ordinateurs portables HP À l époque où le Leap Motion commençait à enflammer la toile, Asus avait fait part de son intérêt pour cette technologie, prévoyant même de l intégrer dans certaines de ses machines. Étrangement, ce n est pas Asus qui sera le premier à le faire, mais HP. La marque présente aujourd hui une nouvelle version de son Envy 17 pouces qui a la particularité d intégrer la fameuse interface. Du coup, Leap Motion a revu légèrement le design de son contrôleur pour qu il s intègre mieux à l ordinateur portable. Il est ici plus allongé et moins épais. On ne sait pas en revanche si le «champ de la vision» du Leap s agrandit. Comme le dit HP, l idée n est pas de supplanter la souris ou l écran tactile (présent sur ce modèle d ailleurs). La marque veut offrir aux utilisateurs une troisième interface destinée principalement à manipuler les objets tridimensionnels. Vous pouvez trouver une démonstration du HP ENVY LEAP SE sur le lien ci-dessous 2. Contrôle de lampe robotisé avec la Leap Motion Ce projet de Xavier Seignard consiste à contrôler une lampe motorisée via le Leap, une carte Arduino et le langage de programmation serveur Nodejs. L idée est de brancher le Leap à un ordinateur qui est relié au Arduino (description sur le lien en dessus) via le port série (passant par l usb) et grâce à la super librairie johnny-five (disponible sur ce 4

6 lien ) on fait communiquer l ordinateur et l Arduino en JavaScript. Ensuite c est l Arduino qui contrôle la lampe. Imagination Dans cette rubrique, les idées innovantes en rapport avec Leap motion peuvent être évoquées. Suggestion d idées : - enregistrer un certain nombre de gestes pour pouvoir manipuler son ordinateur entièrement avec Leap motion (difficile et peut-être impossible avec le modèle actuel de Leap motion mais peut être plus tard) Technologies concurrentes Il semblerait que le Leap motion fait face à des concurrents qui naissent également la même année mais qui ne présente pas les mêmes aspects techniques et des emplois quelques peu différents. Haptix de KickStarter En effet, Haptix, via la plateforme de levée de fonds KickStarter, a dévoilé au monde son capteur permettant de transformer toute surface en zone Multitouch. Contrairement au Leap motion, ce dernier est clipsable et orienté vers le bas. Il dispose de 3 modes : souris, trackpad ou tactile. Il suffit d utiliser son index pour le déplacement du pointeur de la souris par exemple, du majeur pour le clique droit et du pouce pour le clique gauche. Ce dernier, étant compatible avec Windows XP, Vista, 7 et 8 ainsi que sur Ubuntu. Le boîtier est composé également de 2 capteurs vidéos de résolution 640x360 relié à un microprocesseur qui effectuera le calcul. L infrarouge n étant réservé que pour l obscurité. La connectique est réalisée via un câble USB 2.0. Voici le lien permettant de voir en vidéo, une démonstration des capacités de ce nouvel appareil. 5

7 Myo de ThalmicLab Myo, autre concurrent d une ampleur redoutable, est un brassard électronique qui a pour but de contrôler tout type de périphérique grâce à vos mouvements. Il est compatible PC ou Mac et possèdera une API Android et ios. Son mode de communication est le Bluetooth 4.0. La particularité de cet appareil est qu il contient des capteurs d activités musculaires et des capteurs de mouvements sur 6 axes. Voici le lien de la vidéo illustrant des cas d utilisations de Myo. L article sur le site, évoque également son intérêt, les similitudes vis-à-vis du Leap motion et son mode de fonctionnement. La vidéo illustre également le pilotage d un drone avec l accessoire, ce qui semble être un dénouement intéressant à étudier. AirStrike de LM3LABS ( AirStrike est plus destiné à un usage professionnel et à être par exemple utilisé dans des musées pour des interactions avec les visiteurs. Caractéristiques techniques : - Fonctionne également sur le principe de la lumière infrarouge, qui est émise depuis une "grande plaque". Beaucoup plus gourmand en terme d'espace occupé que le leap motion. - Existe en deux tailles, 120x120cm et 96x96cm - Peut être associé à un écran de n'importe quelle taille - Repère les mouvements au dessus de la plaque émettrice Kinect de Microsoft ( Kinect est plus destiné au divertissement/grand public et au domaine du jeu video en particulier, bien qu'il soit également compatible avec Windows. - Composé d'une caméra RGB (contrôle par le mouvement), un détecteur de profondeur (basé sur la lumière infrarouge), et d'un micro servant au contrôle vocal - Distance recommandée de 1,8 mètres Camboard nano de PMD Technologies C est une caméra 3D qui est aussi le plus petit capteur de mouvement au monde (37x30x25 mm), 6

8 capable de fournir un maximum de 90 images /s. -USB 2.0 -Capteur utilisé : PMD PhotonICs 19k-S3 (même société) (Détection d objets, reconnaissance de gestes) -SDK livré avec la caméra (Logiciel pour le traitement de données et visualisation) -Principale utilisation : Intégration (Outil de développement pour les applications et gestuelle 3D) -1 seul LED -Champ de vision 90 x 68 Camboard pico de PMD Technologies ( Petite caméra intégrée dans un boitier de petite taille, son utilisation est plutôt pour une intégration directe dans les All-In-One pc, et ordinateurs portables -Frame rate : 100 fps Capteur utilisé : Infineon 3d Image sensor ( -peu d informations disponibles, Limites Bien que ce nouveau produit nous fasse rentrer dans une nouvelle ère, il est cependant utile de dénoncer ces inconvénients. Tout d abord, le Leap motion ne remplace en aucun cas le clavier et la souris mais est un outil complémentaire à l utilisation d un ordinateur. De plus, d après son utilisation par un certain nombre de développeurs, l appareil consomme beaucoup en ressources, ce qui devient un point essentiel à ne pas négliger. Après un certain temps de manipulation, il est également pertinent de noter que son utilisateur ressentira de la fatigue à force de gesticuler les mains en l air. Contrairement aux écrans tactiles où l objet est posé sur façade plate et les mains aussi. Autre point à aborder mais qui risque de s effacer, c est le nombre d applications dont dispose Leap motion dans leur boutique d application (AirSpace), certes faible à ce jour, mais qui est en pleine expansion. 7

9 Maintenant, au niveau de la zone de captation, celle-ci a une forme de cône. Si vous êtes trop rapproché du Leap, vos mains sortiront de son champ et ne seront plus détectées. Et si vous êtes trop haut, la détection faiblit et a quelques rates. Il faut donc être pilepoil dans ce cône virtuel C est que la communauté de développeurs autour du Leap Motion est encore trop réduite. Peu de projets, peu de partage... Forte Consommation de CPU, si l'on réduit sa consommation la précision diminue Bibliothèque Open Source : Applications 8

10 BetterTouchTool C est une application qui permet de faire des actions grâce à des gestes personnalisés avec le Leap. Contrairement à l application Swish, elle est gratuite et vraiment fonctionnelle. Démonstration : GameWave C est un utilitaire pour Leap Motion qui permet, comme BetterTouchTool, d assigner des gestes à des actions. Il est disponible sur Mac et PC. Démonstration : 9