Enseignement, Handicap et tablette tactile

RAPPORT DE PROJET TUTEURÉ Projet n 9 : Enseignement, Handicap et tablette tactile Groupe : Florent DELRIEU Romain HIRIART Aurélien LACHAPPE Enseignant tuteur : François DEMONTOUX Année 2012-2013

Sommaire A) Description générale 1. Contexte du projet... 4 2. Objectifs du projet... 4 3. Répartition des tâches de travail... 4 B) Phase d'analyse 1. Technologies existantes... 6 2. Application de la Webcam TRENDNET... 7 3. Analyse détaillée du fonctionnement... 8 4. Spécifications de l application attendue... 8 5. Matériel nécessaire... 9 C) Phase de développement 1. Outils utilisés... 10 2. Développement de l interface et des fonctionnalités... 11 3. Développement des fonctionnalités... 12 4. Phase de tests... 15 D) Bilan du projet 1. Planning et organisation du projet... 16 2. Travail réalisé à ce jour... 17 3. Possibilité d améliorations futures... 17 4. Difficultés rencontrées... 17 5. Bilan humain... 18 Annexes Projet 9 : Enseignement, Handicap et tablette tactile 2

Table des illustrations Figure 1 : Interface de l application Trendnet constructeur... 7 Figure 2 : Code sous App Inventor... 11 Figure 3 : Partie de code expliquée... 11 Figure 4 : Interface de ControlCam... 12 Figure 5 : Schéma explicatif de ControlCam... 14 Figure 6 : Planning organisationnel... 16 Figure 7 : Code complet sous App Inventor... 20 Projet 9 : Enseignement, Handicap et tablette tactile 3

A) Description ge ne rale 1. Contexte du projet Si de nombreux efforts ont déjà été réalisés en faveur de l intégration des étudiants et salariés en situation de handicap, les difficultés et appréhensions restent cependant nombreuses, et souvent, les personnes ayant une déficience motrice, sensorielle ou mentale se retrouvent exclues de la vie étudiante ou de la vie active par faute d aménagement. Certains étudiants peuvent, par exemple, appréhender d entamer un cursus universitaire s ils pensent qu ils n y trouveront pas d équipements et d enseignements adaptés. Notre projet a donc pour but d améliorer l accessibilité de ces personnes à tous les enseignements et travaux pratiques pour que leur handicap ne soit plus un frein aux études ou à l emploi. 2. Objectifs du projet L objectif est l élaboration et la réalisation d une application destinée aux IUT de l Université Bordeaux 1 puis plus tard à toutes les universités de Bordeaux et de France si possible. Ainsi, il s agit à travers ce projet de réduire les a priori des industriels pour faciliter l insertion des personnes en situation de handicap tant au niveau des études que de l emploi. Le projet en lui-même consiste à développer une interface sur tablette tactile qui permettra l utilisation d une webcam par des personnes en situation de handicap avec une interface ergonomique et intuitive. 3. Répartition des tâches de travail Afin d être efficaces dans notre travail, nous avons décidé de diviser les tâches à effectuer et de les répartir en fonction des préférences et compétences de chacun : Florent DELRIEU s est occupé de la partie technique du projet : il a réalisé l étude du système de communication entre la webcam et l application afin de la rendre utilisable via l interface que nous avons créée. Romain HIRIART a réalisé toute la partie relevant de la documentation et de la rédaction des livrables (Cahier des charges, Rapport,...). Il a élaboré aussi le PowerPoint final. Projet 9 : Enseignement, Handicap et tablette tactile 4

Aurélien LACHAPPE a traité la partie démonstrative du projet. Il a réalisé le montage vidéo qui a mis en évidence le problème existant et la finalité de notre projet. Il aussi réalisé le planning du projet. Projet 9 : Enseignement, Handicap et tablette tactile 5

B) Phase d analyse 1. Technologies existantes Nous avons procédé à une recherche d applications et de logiciels existants qui se rapprocheraient de la finalité de notre projet et qui pourraient donc nous servir de support. Nous avons trouvé par exemple le logiciel eviacam. C est un logiciel gratuit qui permet de diriger le curseur de votre écran d ordinateur ainsi que de cliquer grâce à des mouvements de tête et une webcam. Pour cliquer sur un lien ou un document, il faut placer le curseur dessus et patienter quelques secondes pour qu il s exécute. Après avoir testé cette application, nous avons pu constater qu il fallait prendre un peu de temps pour calibrer la sensibilité du curseur, la vitesse de son déplacement et le délai du clic avant de pouvoir utiliser pleinement ce logiciel. Ce qui est assez contraignant. Dans la même lignée il existe aussi Visage et CameraMouse qui sont des logiciels semblables à eviacam. Ces logiciels ne correspondent pas vraiment à notre projet qui traite un besoin bien spécifique : l utilisation (réglage, configuration, orientation) d une tourelle webcam via une interface adaptée sur tablette tactile. Malheureusement, il n existe aucune application capable de réaliser ces actions pour des personnes handicapées. Penchons-nous maintenant sur l application de la webcam Trendnet sur laquelle nous nous sommes basés pour réaliser notre projet. Projet 9 : Enseignement, Handicap et tablette tactile 6

2. Application de la Webcam TRENDNET Voici l interface fournie par le constructeur Trendnet pour l utilisation de leur Webcam : Figure 1 : Interface de l application Trendnet constructeur Nous pouvons voir que les éléments entourés en rouge ci-dessus ne sont utilisables que par clic souris. Ils sont de plus très petits donc difficilement accessibles pour des utilisateurs handicapés. Par exemple, si un utilisateur en situation d handicap souhaite déplacer la webcam vers la droite, il peut uniquement réaliser cette action en cliquant sur la petite flèche de droite. Nous voyons donc les limites d utilisation de cette interface qui n a pas été pensée et conçue pour tous. L application Trendnet de la webcam n est donc absolument pas adaptée pour tous les utilisateurs et c est là tout l objectif de notre projet : rendre cette application accessible à tous. Projet 9 : Enseignement, Handicap et tablette tactile 7

3. Analyse détaillée du fonctionnement Nous avons réalisé l étude du système de communication entre la webcam et l application et nous avons obtenu plusieurs informations capitales pour la suite. Grâce à l outil de capture de trames WireShark, nous avons pu établir, en analysant les trames de données transmises lors de l utilisation de la Webcam Trendnet, qu un flux vidéo est récupéré via HTTP et les commandes de mouvements sont envoyées par requêtes HTTP. C est donc le protocole HTTP qui est utilisé pour contrôler la Webcam via Internet. 4. Spécifications de l application attendue Nous avons convenu ensemble plusieurs points d améliorations spécifiques pour le développement de notre application que nous avons baptisée «ControlCam». Il fallait adapter une application sur tablette tactile qui était initialement accessible via ordinateur uniquement. Des modifications et des améliorations ergonomiques devaient donc être apportées. Nous avons opté pour une interface épurée ergonomiquement qui serait la plus intuitive possible en apportant les modifications suivantes : - Intégrer des boutons plus gros et grossir l affichage : Pour accéder facilement aux commandes, les boutons d action ont été grossis tout comme l écran de visualisation de la Webcam. - Limiter l utilisation de l application aux commandes de bases (Haut, Bas, Gauche, Droite) : Il y avait des commandes dont la présence nous paraissait non pertinente. Nous avons donc décidé de les supprimer de notre nouvelle interface et de garder les commandes les plus utilisées (commandes de déplacements). Les boutons supprimés sont par exemple «Auto Patrol», «Stop» cf Figure 1 - Intégrer un système de commandes vocales : Nous avons pensé à mettre en place un système de commandes vocales qui pourrait être très utile pour une personne handicapée moteur par exemple. Le simple fait de dire «Gauche» ferait pivoter la Webcam vers la gauche. Ce système a ravi le testeur de notre application qui nous a déclaré utiliser régulièrement les commandes vocales qu il trouve très pratiques. Projet 9 : Enseignement, Handicap et tablette tactile 8

- Ajouter un menu d aides : Enfin, nous pensions que l ajout d un menu d aides pourrait s avérer utile. Dans notre planning de travail, nous avions convenu de ne réaliserons le développement de ce menu que si le temps nous le permettait. L établissement de ces différentes spécifications nous a permis de constituer notre cahier des charges. Lors de notre première rencontre avec Steven qui représente l utilisateur en situation de handicap moteur type de notre produit, nous avons discuté de la pertinence des modifications et des améliorations apportées à ControlCam. Elles ont toutes été validées et approuvées par notre testeur mais il y avait selon lui quelques points à améliorer : - Redimensionner les boutons de mouvement ; - Regrouper les boutons d action à gauche et les rendre plus visible en les colorant en blanc ; - Consacrer une plus grande place à l écran de visualisation ; - Faire en sorte que ControlCam soit utilisé horizontalement (en paysage) sur la tablette plutôt que verticalement (en portrait) car cette disposition offre une meilleure maniabilité et une meilleure visualisation de l application. Nous avons pris en compte les conseils d amélioration de Steven et nous les avons appliqués. Lors du second rendez-vous, il nous a déclaré que l application lui convenait très bien après ces modifications. 5. Matériel nécessaire Pour mener à bien ce projet, nous avions donc besoin de plusieurs matériels tels que : - Une Webcam Trendnet fournie par notre tuteur M. DEMONTOUX ; - Un routeur Wifi fourni par l IUT pour permettre l utilisation du réseau Wifi ; - Une tablette tactile appartenant à Florent ; - Un serveur FTP et un serveur HTTP créés sous Windows à partir d un ordinateur portable ; Projet 9 : Enseignement, Handicap et tablette tactile 9

C) Phase de de veloppement 1. Outils utilisés Nous avons utilisé plusieurs outils qui nous ont permis de mener à bien notre projet. Voici la liste de ces outils : Eclipse (abandonnée) : environnement de développement avec lequel nous comptions développer l application en Java. Nous avons rencontré des difficultés de programmation en Java dès le début des phases de développement et nous nous sommes rendu compte qu il serait très complexe de tout coder en ligne de commande. Nous avons donc abandonné cet environnement de travail. Nous sommes donc passés à l application App Inventor qui était plus intuitive et plus simple d utilisation mais cependant limitée. App Inventor : application web pour Android disponible directement sur Internet. Elle permet de développer des applications Android grâce à un langage simplifié via une interface graphique. WireShark : logiciel analyseur de paquets utilisé pour analyser les réseaux informatiques. Il nous a servi à analyser, à comprendre et à exploiter le système de la webcam Trendnet. Les logiciels de la suite Office (Word, Powerpoint, Excel, Publisher) pour rédiger et structurer nos livrables. WindowsMaker : Logiciel d édition de vidéo pour réaliser la vidéo de démonstration finale. Projet 9 : Enseignement, Handicap et tablette tactile 10

2. Développement de l interface et des fonctionnalités Le codage avec App Inventor se fait par assemblages successifs de différents blocs graphiques. Un bloc «parent» contient plusieurs sous-blocs qui représentent différentes variables et traitements qui interviennent lors de l exécution de l application. Voici une capture d écran du code en cours de développement : Figure 2 : Code sous App Inventor Nous allons expliquer plus précisément le fonctionnement de cette interface de développement. Prenons le cas du bloc entouré en rouge que nous allons détailler ci-dessous : Figure 3 : Partie de code expliquée Projet 9 : Enseignement, Handicap et tablette tactile 11

IUT Bordeaux 1 L assemblage de ces différents blocs peut se décrire de la manière suivante : En cliquant/appuyant sur le bouton 3, l application stocke l adresse internet (http://www.bpi.fr...) de la webcam dans la variable «startadress» de la base de données «TinyDB1». Ce traitement est exécuté dès lors que l utilisateur aura appuyé ou cliqué sur le bouton 3 de l application et permet donc de connaitre la webcam à afficher à l écran. Le code complet de ControlCam est disponible en annexes. 3. Développement des fonctionnalités Création de l interface Voici l interface de notre application lorsque la tablette est en mode paysage (tablette tenue horizontalement) : Figure 4 : Interface de ControlCam La partie gauche de l écran contient donc les boutons d actions comme convenu dans le cahier des charges. Projet 9 : Enseignement, Handicap et tablette tactile 12

Nous avons instauré des boutons significatifs avec une forme conséquente (suffisamment gros pour être accessibles facilement). Les boutons ont aussi été éclaircis pour augmenter le contraste par souci de visibilité. La partie droite permet de visualiser les images capturées par la Webcam. Nous avions dans une première phase mis en place un bouton «reload» permettant de recharger la page pour rafraichir l affichage des images capturées. Cette partie a bien entendue été supprimée pour la version finale. Il s agissait d une interface de test qui nous a permis de structurer et de mettre en place correctement tous les éléments nécessaires au bon fonctionnement de l application. Récupération et affichage des images capturées Nous avons rencontré plusieurs problèmes relevant du niveau technique lors du développement : Un problème persistant a été la gestion de l affichage de la vidéo. En effet, la récupération du flux vidéo n a pas été chose facile. Nous avons essayé de récupérer la vidéo en affichant image par image ce qui était capturé par la webcam mais il y avait un problème au niveau de la requête Web qui était incompatible avec le mode image par image sur tablette tactile. En choisissant la Web View (un afficheur de pages internet disponible depuis App Inventor), un autre problème est apparu : le format utilisé par la caméra pour diffuser l image était incompatible car obsolète. Nous avons choisi de garder la Web View et de revoir l architecture du réseau. En effet, la caméra était capable d envoyer des images JPEG vers un serveur FTP. Nous nous sommes donc servis de ce système pour effectuer l affichage de ces images en utilisant un serveur Web hébergé par un PC dans le réseau. Mouvements de la Webcam Comme tous les outils fournis avec les Webcam utilisaient le même format de pages web obsolètes, nous avons dû de la même manière que pour la caméra relayer les informations de commandes à un client web qui lui-même est capable d interpréter ces pages web contenant les commandes et de les envoyer à la caméra. Nous avons utilisé un module appelé C-URL disponible en langage PHP qui permet d envoyer une requête HTTP. Projet 9 : Enseignement, Handicap et tablette tactile 13

Voici un schéma explicatif résumant le système de récupération et d affichage des images capturées par la caméra, ainsi que le système de commandes de mouvements : Client Web (Web View) Client C-URL Commandes de mouvements Page HTML Serveur Web Serveur FTP Commandes de mouvements Image.jpg Client FTP Figure 5 : Schéma explicatif de ControlCam Projet 9 : Enseignement, Handicap et tablette tactile 14

Commandes vocales Nous avons utilisé un outil déjà présent sur App Inventor pour récupérer les commandes vocales et les transformer en texte puis les traiter. 4. Phase de tests Nous avons réalisé plusieurs tests tout au long du développement afin de s assurer du bon fonctionnement des composantes de notre application. Pour faire interagir l'application (en cours de développement) sur la tablette avec App Inventor et pour la tester en temps réel, App Inventor dispose d'un système sécurisé simple qui demande la saisie d'un mot de passe sur la tablette généré sous App Inventor. Une fois le mot de passe saisi, le logiciel et l'application sont synchronisés et peuvent communiquer entre eux grâce au routeur Wifi. Ceci nous a permis par exemple de tester si les commandes vocales fonctionnaient correctement. Nous utilisions la tablette tactile Archos de Florent DELRIEU qui était suffisamment grande et performante pour obtenir des résultats convaincants. Afin d avoir l avis d un utilisateur en situation de handicap, nous avons pris contact avec Steven. Il était très coopératif et était réjoui de pouvoir participer à notre projet. Projet 9 : Enseignement, Handicap et tablette tactile 15

D) Bilan du projet 1. Planning et organisation du projet DELRIEU Florent HIRIART Romain LACHAPPE Aurélien DECEMBRE JANVIER Semaine 1 Découverte du projet Entreprise Semaine 2 Semaine 3 Semaine 4 Semaine 5 Semaine 6 Semaine 7 Semaine 8 Tests webcam Trendnet Tests webcam Trendnet Analyse (applications inadaptées existantes) Réunions avec Mr DEMONTOUX Analyse (applications inadaptées existantes) Réunions avec Mr DEMONTOUX Analyse (applications inadaptées existantes) Recherches besoins matériels Recherches besoins matériels Réunions avec Mr DEMONTOUX Elaboration cahier des charges Réunions avec Mr DEMONTOUX Elaboration cahier des charges Elaboration planning Elaboration planning IUT Entreprise IUT Entreprise Semaine 9 Tests application pilotage webcam Trendnet Rédaction dossier Elaboration scénario vidéo Réunions avec Mr DEMONTOUX IUT FEVRIER Semaine 10 Semaine 11 Codage application Codage application Rédaction dossier Réunions avec Mr DEMONTOUX Rédaction dossier Prise de contact avec Steeven MATHIEU Échanges avec Steeven MATHIEU (recherche créneaux rencontres) Semaine 12 Codage application Rédaction dossier Échanges avec Steeven MATHIEU (recherche créneaux rencontres) Entreprise Semaine 13 Codage application Rédaction dossier Échanges avec Steeven MATHIEU (recherche créneaux rencontres) MARS Semaine 14 Semaine 15 Semaine 16 Codage application Rédaction dossier + Powerpoint Préparation rencontre avec Steeven MATHIEU Rencontre avec Steeven MATHIEU / Réunions avec Mr DEMONTOUX / Modifications application (conseils de Steeven MATHIEU) Finalisation application / Finalisation dossier, Powerpoint et Poster / Tournage vidéo IUT Figure 6 : Planning organisationnel Projet 9 : Enseignement, Handicap et tablette tactile 16

2. Travail réalisé à ce jour A ce jour, nous avons développé l application dans sa quasi-intégralité mais il manque certaines fonctionnalités comme le choix de la caméra à utiliser qui n est pas tout à fait fonctionnelle tout comme le menu d aides. Cependant notre application est fonctionnelle et répond parfaitement aux attentes de départ. Elle remplit les fonctions définies dans le cahier des charges car nous l avons rendue accessible à tous. 3. Possibilité d améliorations futures Nous sommes conscients qu une application peut et se doit d évoluer tout au long de sa durée de vie afin de rester performante. C est pourquoi nous pensons à des améliorations futures qui pourraient être apportées par un autre groupe de projet de Licence SARI dans les années prochaines à l IUT de Bordeaux 1. Il serait judicieux de proposer un mode déploiement de ControlCam depuis l extérieur qui rendrait l utilisation possible de l application depuis n importe où via une connexion internet. Une autre piste d amélioration serait de déployer notre application sur un ordinateur All-in-one. 4. Difficultés rencontrées Nous avons rencontré deux principales sortes de difficultés : difficultés techniques et matérielles. Nous devions d abord travailler sur tablette ipad fournie par l IUT mais il était bien trop contraignant de développer une application sous Apple qui nécessite plusieurs licences et autorisations spéciales. L IUT disposait aussi d une tablette tactile Android mais celle-ci était beaucoup trop petite pour notre projet. Nous avons donc utilisé la tablette personnelle de Florent DELRIEU. De plus, le routeur Wifi était utilisé par un autre groupe qui se l accaparait assez souvent. Nous avons donc été légèrement bloqués et ralentis mais nous avons su y remédier en anticipant certains travaux. Une autre difficulté a été la gestion du temps. Nous sommes tous les trois en alternance et nous ne disposions donc pas de beaucoup de créneaux libres pour avancer le projet. Nous avons avancé personnellement chacun de notre côté et nous nous réunissions régulièrement lors des périodes de formation pour mettre notre travail en commun et faire le point. Nous avons su remédier aux difficultés techniques rencontrées en les contournant par diverses solutions. Projet 9 : Enseignement, Handicap et tablette tactile 17

5. Bilan humain Tout d abord, nous tenons à souligner la grande disponibilité et réactivité de notre tuteur François DEMONTOUX qui nous ont été bénéfiques pour mener à bien notre projet. Nous organisions plusieurs réunions avec lui assez régulièrement pour faire le point sur l avancement du projet mais aussi pour lui demander différents conseils. Nous sommes unanimement d accord pour dire que l ambiance de travail au sein du groupe a été généralement agréable malgré quelques petites «prises de bec» lorsque les avis divergeaient. Ces désagréments sont inévitables et représentent bien le fonctionnement d une équipe au sein d une entreprise. Ce projet a été une expérience riche à la fois techniquement et humainement pour nous car nous avons vraiment eu l impression et la satisfaction d apporter quelque chose de nouveau et d utile à des personnes en situation d handicap. Projet 9 : Enseignement, Handicap et tablette tactile 18

ANNEXES Bibliographie : http://www.trendnet.com/langfr/default.asp (site du constructeur Trendnet) http://www.php.net (site pour le développement PHP) http://appinventor.mit.edu/ (site de notre environnement de travail App Inventor) Projet 9 : Enseignement, Handicap et tablette tactile 19

Code complet de ControlCam Figure 7 : Code complet sous App Inventor Projet 9 : Enseignement, Handicap et tablette tactile 20

Projet 9 : Enseignement, Handicap et tablette tactile 21