Brain Interaction Terminal (BIT)

Transcription

1 Brain Interaction Terminal (BIT)

2 Sommaire Objectifs Etat de l'art Matériel testé Démonstrateurs Valorisation Perspectives Conclusion

3 Objectifs Etendre le champ d application des BCI : jeux => télécommande d appareils Explorer les possibilités offertes par les BCI grand public Développer un démonstrateur capable de piloter un équipement

4 Brain-Computer Interface / Interface neuronale Utiliser l activité neuronale pour commande un système matériel ou logiciel : - En complément d autres modalités - Pour des personnes à capacités réduites Recherches depuis les années 70 Systèmes invasifs et non-invasifs Principes utilisés : - Reconnaissance de l activité neuronale liée à une intention - Confirmation d une information (potentiel P300) - Rythme cérébral (brain waves / neural oscillations)

5 Etat de l art - projets TOBI - Tools for Brain-Computer Interaction Européen Améliorer la qualité de vie des personnes handicapées + Rééducation Combinaison EEG/EMG CNBI - Chair in Non-Invasive Brain-Machine Interface cnbi.epfl.ch Dirigé par José del R. Millán, EPFL Signaux cérébraux -> piloter des équipements et interagir avec son environnement EU-projet BRAIN Prof. Dr Axel Gräser, université Bremen, Allemagne Démocratiser l utilisation des BCI Aide et assistance aux personnes handicapées Team PhyPA Implémentation de technologies BCI -> Interaction générale homme-machine Non centré sur le domaine d application médical MINDWALKER BCI, réalité virtuelle, exosquelette permettre les activités usuelles aux personnes à mobilité réduite

6 Etat de l art - conférences 5 th International Brain-Computer Interface Conference 2011 Graz, Austria, from September 22nd to 24th 2011 Conférences sur 2 jours autour du thème des BCI Symposium de 2 jours BCI non invasifs aux implants

7 Etat de l art - Matériel Mindmedia 32ch Asa-lab 32ch g.usbamp 16ch Médical frs frs frs NIA d OCZ 3ch Mindset de Neurosky 1ch Epoc d Emotiv 14ch Grand public 120 frs 250 frs 300 frs OpenEEG 2ch Home Made 200$ - 400$

8 Etat de l art - Logiciel GNU LESSER GENERAL PUBLIC LICENSE Gratuit et ouvert GNU PUBLIC LICENSE Gratuit pour les programmes académiques et l éducation Outils de recherche destinés aux BCI : Acquisition, stimuli, monitoring Faciliter la recherche et les applications Algorithmes de filtrage, réduction de bruit et classification

9 Quelques notions Électrodes mesurent un courant électrique à la surface du crâne = activité neuronale + activité musculaire Notation internationale 10/20

10 Matériel testé BCI grand public NIA d OCZ Mindset de Neurosky Epoc d Emotiv Algorithmes et traitements des signaux propriétaires Mesure l activité électrique du cerveau (EEG) Mesure l activité électrique musculaire

11 Bref comparatif NIA MINDSET EPOC Nombre d électrodes gyroscopes Type d électrodes Sèches Sèche Humides Connexion USB Bluetooth Bluetooth Prix 120 USD 250 USD 500 USD SDK Brainfingers ThinkGear Developer Edition Prix SDK 1200 USD 5500 USD 250 USD Activité musculaire oui - oui Alpha, beta oui oui non Gamma et theta non oui non Signal EEG oui non oui* confusion EMG/EEG entretenue par les constructeurs *Research Edition

12 NIA d OCZ OCZ -> Brainfingers -> Andrew Junker Oculaire, Musculaire, Alpha et Beta Pilotage clavier -> Jeux SDK: mémoire partagée, C# Difficile à prendre en main Licence -> hardware Mise à la masse Perturbation environnement Alpha?

13 Mindset de Neurosky Applications mobile et gadgets Algorithmes esense (EEG) Seuils d activité Alpha, Beta, Gamma et Theta Démos Jeux esense SDK:C/C++, C# et java 1 er résultats, prise en main plus facile (esense) Pertes de connexion bluetooth fréquentes Alpha? Support client exécrable

14 Epoc d Emotiv Accès aux données brutes de chaque électrode* Expressiv détection de mouvements musculaires hausser ou froncer les sourcils, cligner des yeux, regards en coins, sourire, crisper la mâchoire Affectiv détecter un état émotionnel réponse émotionnelle spécifique Cognitiv enregistrer un pattern de pensée associer à une action (jusqu à 4 motifs différents) *Research Edition

15 Epoc d Emotiv + abouti des casques testés Grande granularité musculaire Approche cognitive -> muscles? Emotions -> peu convainquant Distance PC - casque Electrodes humides Appuie tête

16 Démonstrateurs Démonstrateurs - Réutilisables - Musculaires / EEG Format de commande - Couplage faible: OSC (EPOC application) Clavier

17 Pilotage du robot Rovio - NIA Requêtes http Actions -> Evénements clavier

18 Dasher Interface de frappe de texte prédictive Lorsqu un clavier n est pas disponible Premier prototype 1997 joystick, écran tactile, trackball, souris head-mouse ou eyetracker

19 Dasher - EPOC

20 knodes - EPOC Symposium Imaging The Future Collaboration entre un diplômant et un artiste Exploiter l activité neuronale Contexte artistique sans les contraintes scientifiques

21 knodes installation au NIFFF 2010

22 Actions de valorisation Démonstrations publiques : Neuchâtel International Fantastic Film Festival 2010 IHM 2010 Portes ouvertes Articles de presse : L impartial, Guillaume Perret, Juillet 2010 ArcInfo, Août 2010 ICT journal, Nicolas Paratte, septembre 2010 Les zèbres, Jean-Marc Richard, 25 Août 2010 Enseignement : Projets de diplôme bachelor Collaborations :

23 Perspectives Projet HE-Arc Gérald Huguenin Développer, créer des électrodes Capturer le signal EEG. Etudes des Frameworks Emotiv EPOC Mindset Neurosky Enobio Emotiv EPOC Mindset Neurosky OpenEEG

24 Nouveautés QUASAR Dry Sensor Interface (DSI) 10/20 21 dry sensors, EEG, ECG, EMG, EOG Neurosky Advanced Brain Monitoring Up to 20 humid sensors, ECG, EOG, EMG Enobio de Starlab EEG, ECG and EOG, wireless, 4ch Mynd de NeuroFocus ~16 dry, wireless EEG - Raw EEG - Neuroscience defined EEG power spectrum (Alpha, Beta.) - esense meter for Attention - esense meter for Meditation - esense Blink Detection

25 Conclusion Détections musculaires Mouvements oculaires EEG Bruit Apprentissage Réactivité Calibre Motifs mentaux Black box Machine S entraine Etats mentaux

26 Questions