Journal de bord - Semaine 2

Transcription

1 Journal de bord - Semaine Séance de projet 1 - Introduction Mise en place du site web Création des modèles de documents Débuté l'édition du cahier des charges Edition du cahier des charges Edition du planning Edition du cahier des charges Création d'un logo Mise en place d'un système pour la gestion du projet (logiciel Mac : Curio) Rencontre avec Simon Ruffieux au sujet de la "Smart Wheelchair" Fin de l'édition de la première version du cahier des charges Journal de bord - Semaine n/gerbil_planning_v01_ pdf n/gerbil_cahier%20des%20charges_v01_ pdf Séance de projet 2 Modification du cahier des charges en fonction des remarques de Francesco Recherche d'un nom de projet : GERBIL : Gesture Recognition using a Brain Lightweight Headset Modification de l'url du site web et des documents pour correspondre au nouveau nom de projet Débuté les lectures sur le BCI général Mise en place pour le journal de bord et pour les pv de séances Lecture BCI général Installation d'un Windows 7 sur le portable de travail Installation de MS Visual Studio 2010 Installation des logiciels Emotiv Lecture BCI général Résumé des points à retenir des lectures Les logiciels se lancent sans problème apparent Résumé des points à retenir des lectures

2 Recherche d'informations sur les framworks existants - OpenVibe - BCI Séance de projet 3 Test du casque - avec les anciens capteurs (tout sales!) - avec les nouveaux capteurs Journal de bord - Semaine 3 Les tests montrent qu'avec les nouveaux capteurs, le casque fonctionne mieux dans l'ensemble Pour ma part, la partie reconnaissance du visage ne fonctionne pas bien du tout. Quant à la partie cognitive, la différentiation est très efficace entre des gestes du bras et des pieds Installation d'openvibe Récupération du code source d'openvibe par SVN Processus d'installation d'openvibe à partir du code source - modification des scripts - installation des dépendances - compilation Récupération de la dernière version d'openvibe, censée être fonctionnelle avec Win7 + VS 2010 Compilation d'openvibe Test d'openvibe avec le casque Ne marche pas en passant par le VPN de l'école : ça plante sans raisons au bout d'un moment Malheureusement la compilation plante, du à une dépendance manquante. Après conversation avec M. Renard, chef développement chez OpenVibe, il me dis que la compilation n'est pas possible avec VS 2010, mais qu'ils sont en train de résoudre le problème M. Renard m'indique qu'ils ont mis à jour l'installateur des dépendances et que ça devrait marcher avec VS 2010 ça marche! Réussi à faire un scénario tout simple, avec just l'affichage des signaux Edition du poster pour la journée de la recherche ABSENT

3 Séance de projet Modification des images du poster pour la journée de la recherche ons/gerbil_poster_journee_de_la_recherche_ pdf Rédaction de l'état de l'art sur le BCI Rédaction de l'état de l'art sur le BCI Rédaction de l'état de l'art sur le BCI Rédaction de l'état de l'art sur le BCI Journal de bord - Semaine Rédaction de l'état de l'art sur le BCI GERBIL_Rapport_final_Etat_de_l_art_BCI_v01_ pdf Séance de projet Modification du cahier des charges Mise en ligne de la nouvelle version du cahier des charges Journal de bord - Semaine Corrections de l'état de l'art sur le BCI en fonction des remarques de Francesco Corrections de l'état de l'art sur le BCI en fonction des remarques de Francesco tion/gerbil_cahier des charges_v03_ pdf Mise en ligne de la nouvelle version de l'état de l'art sur le BCI GERBIL_Rapport_final_Etat_de_l_art_BCI_v02_ pdf Préparation pour conférence USA (comme le reste de la semaine à environ 40%)

4 Journal de bord - Semaine 5 vacances

5 Journal de bord - Semaine 6 Voyage USA

6 Séance de projet 6 Débuté lecture pour l'état de l'art sur la reconnaissance de geste (général) Lecture état de l'art sur la reconnaissance de geste (général) Lecture état de l'art sur la reconnaissance de geste (général) Rédaction de l'état de l'art sur la reconnaissance de geste (général) Rédaction de l'état de l'art sur la reconnaissance de geste (général) Lecture de l'état de l'art sur BCI + reconnaissance de geste Lecture de l'état de l'art : imagerie motrice Journal de bord - Semaine 7 Journal de bord - Semaine Lecture de l'état de l'art : ERD/ERS Rédaction de l'état de l'art sur BCI + reconnaissance de geste Rédaction de l'état de l'art sur BCI + reconnaissance de geste Séance de mise au point avec Elena Rédaction de l'état de l'art sur BCI + reconnaissance de geste Journal de bord - Semaine Séance de projet 8 Analyse : partie sur le casque EPOC Analyse : partie sur le casque EPOC Séance avec Elena, Francesco, et Antonio sur le projet traitant des EMG Analyse : partie sur la smart WheelChair Analyse : partie sur OpenVibe Analyse : partie sur OpenVibe Analyse : partie sur OpenVibe

7 Journal de bord - Semaine 10 Suivi tutorial vidéo d'openvibe Pris en main d'openvibe Test de scénarios avec des fichiers de données de signaux EEG existants Scénario du Graz motor imagery Génération d'un projet VisualStudio pour OpenVibe Séance de projet 9 Préparation de scénarios pour l'imagerie motrice Suite à un malentendu, j'ai récupéré les anciens capteurs, qui sont dans un état déplorable. Pensant que c'était les nouveaux qui avait vite et mal vieillis, je les ai nettoyés durant 2h! Après avoir récupéré les nouveaux capteurs, premier tests d'openvibe avec le casque Préparation d'un storyboarding pour l'imagerie motrice Graz 3class (gauche/droit/haut) Enregistrement de différentes séances d'imagerie motrice Workshop sur Gesture Recognition Ajouté un beep pour avertir lorsque la connexion avec le casque est perdue Recherche d'infos sur le système pour pouvoir fabriquer un Entrainement du classifier avec les différents enregistrements réalisés Tentative de tuning du prétraitement pour améliorer la classification Gros problème! Marche pas pour VS 2010, donc il a fallu passer par une autre machine, avec VS 2008, généré, et copier coller le dossier de projet sur l'installation VS Ca marche! Avec le storyboarding de base de Graz. Fait différent tests, avec mains g/d, main d/pieds, différents types de gestes ça m'est arrivé plus d'une fois de faire les 8 min d'acquisition et de voir finalement que la connexion avait été perdue après 2 min seulement! Il faut donc tout recommencer Il faudrait voir la possibilité que quand la connexion est perdue, le scénario se mette en pause automatiquement en attendant que la connexion soit à nouveau effective. Une autre idée serait de modifier l'entraineur de classifier afin de lui soumettre plusieurs fichier d'enregistrement plutot qu'un seul. Image pour les proportions (

8 Journal de bord - Semaine 11 Séance de projet Modifications apportée au rapport suite aux remarques de Francesco Ajout au rapport des différents points discutés lors de la séance - Localisation des ERD - Scénario Graz Terminé l'édition de l'état de l'art sur BCI & GR Débuté la partie "Conception" du rapport Conception du bonnet Réalisation du bonnet Premier test du bonnet L'affichage de la qualité du signal dans le controlpanel fait un peu arbre de noël (sa clignote de couleurs dans tous les sens!). 2 possibilités : les capteurs de références n'ont pas un assez bon contact ou c'est à cause des œillets qui sont en métal

9 Journal de bord - Semaine Tests du P300 (entrainement et test) Malgrè un taux de classification de 76% à l'entrainement, la détection online n'est pas une réussite! En général, sur une session de 10 lettres, une seule est correctement reconne, et 1 ou 2 lettres sont dans la bonne ligne ou la bonne colonne Séance de projet 11 Montré le fonctionnement et les possibilités offertes par OpenVibe Recherche de base de données existantes d'enregistrements EEG avec imagerie motrice en ligne Tentative d'utiliser ces données avec OpenVibe Trouvé des datasets chez OpenVibe : download Installation et tentative de prise en main de EEGLab pour concaténer/diviser des enregistrements Trouvé des datasets supplémentaires : BCI Competition III et IV Utilisation des enregistrements BCI Competition IIIb avec OpenVibe Installation de Biosig qui est le toolbox qui avait été utilisé avec ces données pour BCI Competition IIIb, et fait office de référence Débuté la GUI de la petite application C# pour faciliter l'utilisation d'openvibe Trouvé un site ( avec une grande quantité d'enregistrements pour de l'imagerie motrice. Une centaine de sujets, qui ont chacun réalisé une 10 de sessions, avec de l'imagerie motrice main gauche/main droite, deux mains/deux pieds, et même mouvements réels main gauche/main droite Comme les données ne sont pas fournies dans un format lu par OpenVibe (EDF), ouverture avec SigViewer ( suppression des évènements inutiles, ajouts des évènements lef/right cue pour la visualisation graz dans OpenVibe (et l'entrainement du classifier en fonction des stimuli), puis finalement enregistrement en GDF. Malheureusement, problème de lecture dans OpenVibe (post d'un thread sur le forum à ce sujet) Toutes les infos (types d'acquisition, channels, etc.) sont sur la page Malheureusement, les fichiers sont en CSV, et il n'est pas possible de les lire avec OpenVibe, pour l'instant (wtf!) Prise en main difficile! Je n'ai pas trouvé de telles fonctionnalités Il est possible de faire de l'extraction d'epocs, mais ensuite je ne sais pas comment les enregistrer dans un nouveau fichier Certains gdf sont lisibles par OpenVibe (BCI Competition III), et d'autres non (BCI Competition IV) Taux de classification : seulement 50-60%! Trop compliqué! Par réussi à faire une classification sur les données

10 Journal de bord - Semaine Décidé d'arrêter le développement de l'application avec Windows Forms, car pas pratique Recommencé le développement de l'application avec WPF Séance de projet Essais de conversions de fichiers.ov - >.gdf et l'inverse Essais de concaténation de fichiers, pour améliorer le taux de classification Premiers tests montrent qu'il y a une petite amélioration, mais pas suffisante Mise en place des éléments de base de l'application (différents onglets) Commencé à chercher de l'aide sur pattern MVVM Débuté la mise en place de la gestion des sujets Création du XSD pour les sujets Vacances de Noël Vacances de Noël Vacances de Noël Journal de bord - Semaine 13 vacances (1) Finalisation de la mise en place de la gestion des sujets Débuté la mise en place de la gestion des acquisitions Finalisation de la mise en place de la gestion des acquisitions Débuté le scénario generator Création des templates Remplacement des valeurs dans les templates par des tags (${GERBIL::NOM_DU_TAG})

11 Avancement du scénario generator Avancement du scénario generator Création de l'interface de base pour la partie VRPN Création de l'interface de base pour la partie SmartWheelchair Création du joystick pour piloter la SmartWheelchair Journal de bord - Semaine 13 vacances (2) Journal de bord - Semaine 14 Séance de projet 13 Présentation de l'avancement de l'application Modification du channel selector Possibiliter par drag & drop de lié entre eux les capteurs Implémentation des fonctionnalités avancées de la partie VRPN Statistiques relatives Changements d'états Implémentation des fonctionnalités avancées de la partie VRPN Visualisations standard et Graz Gestion des statistiques pour Graz Implémentation des fonctionnalités avancées du prototype SmartWheelchair Mapping des commandes du joystick Mapping des commandes des décisions VRPN (mapping direct ou mapping temporel) Résolutions des différents bugs Création de la documentation d'aide utilisateur Commenté le code et générer la documentation Pattern Observer pour notifier tous les écouteurs Outil pour créer une doc et la générer en plusieurs formats (pdf, chm, html) : Helpinator (existe en version free, qui permet de gérer jusqu'à 10 topics) Outil Doxygen pour générer la documentation du code sous forme Html et pdf

12 Journal de bord - Semaine 15 Tests de la SmartWheelchair avec l'application développée Après de nombreux problèmes résolus, ça fonctionne (port COM ) Finitions pour le programme (splash screen, bare de menu, about box, etc.) Séance de projet 14 Présentation de la version quasi- finale de l'application Résolutions des derniers bugs de l'application : - Formattage des dates - Mauvaise gestion de la réinitialisation des timers dans la partie VRPN Mise à jour des documents (journal de bord, PV des séances) Documentation de conception Documentation de conception - Explication des scénarios OpenVibe Documentation de conception - Explication des scénarios OpenVibe Documentation de conception - Explication des scénarios OpenVibe Journal de bord - Semaine 16 Modifications apportées à l'application : Eclatement en différents gestionnaires (VrpnManager, Modification en profondeur de la façon de géré la prise de décision VrpnChecker, GrazManager, FeedbackManager) Modifications apportées à l'application - Notion de paradigme - Prise de décision avec paradigme Graz que dans la phase de feedback Ajout de fonctionnalités à l'application : - Sauvegarde et gestion des statistiques graz Documentation de conception : - Application Documentation d'implémentation : - Partie OpenVibe Documentation d'implémentation : - Application

13 Journal de bord - Semaine Documentation d'implémentation : - Application Tests avec l'application (scénarios joués offline) - Tentatives de tuning des options de configuration (seuils, etc.) Documentation d'implémentation : - Application Résolution de bugs Tests avec l'application (scénarios joués offline) - Tentatives de tuning des options de configuration (seuils, etc.) Edition du glossaire Tests avec l'application (scénarios joués offline) - Tentatives de tuning des options de configuration (seuils, etc.) Résolution de bugs Tests avec l'application (scénarios joués offline) - Tentatives de tuning des options de configuration (seuils, etc.) Finalisation de la documentation Finalisation de la documentation Finalisation de la documentation Finalisation de la documentation Journal de bord - Semaine Finalisation de la documentation Impression du rapport Reliure du rapport Mise à jour du site web Création du CD temporaire