Open Vibe 2

Un projet français d'envergure sur les interfaces Cerveau-Ordinateur appliquées aux jeux vidéo

OpenViBE2 (2009-2013) est un projet de recherche collaborative soutenu par le financement de l'ANR, et qui porte sur le potentiel des technologies dites d' " interface cerveau-ordinateur " (ICO) dans le domaine des jeux vidéo.

Ce projet a réuni l'ensemble des expertises scientifiques requises au sein d'un consortium pluridisciplinaire de 9 partenaires rassemblant des laboratoires académiques pionniers dans le domaine (Inria, Inserm, CEA, GIPSA-Lab), des industriels du jeu vidéo reconnus (Ubisoft, Blacksheep Studio, Kylotonn Games) et des spécialistes des usages et du transfert (Lutin, Clarte).

Après plus de 3 ans de travaux, et l'obtention d'avancées scientifiques nombreuses, associées à la mise au point de prototypes industriels innovants, OpenViBE2 permet de mieux maîtriser l'avenir de ces technologies sur le marché français et international.

Agir par la pensée grâce aux interfaces cerveau-ordinateur

Une interface cerveau-ordinateur permet à ses utilisateurs d'envoyer des commandes à un ordinateur en utilisant uniquement leur activité cérébrale. Les ICO utilisent des dispositifs électroencéphalographiques (EEG) basés sur des électrodes disposées à la surface du crâne, et qui enregistrent des signaux électriques correspondant aux échanges de courant électrique entre les neurones. L'activité électrique émise par le cerveau est analysée en temps-réel et traduite en commande pour un ordinateur, ou tout autre système automatisé, permettant ainsi de piloter un curseur vers la droite ou la gauche, simplement en imaginant les mouvements de sa main.

Initié en 2005 par l'Inria et l'Inserm, le premier projet OpenViBE (2005-2009) également soutenu par l'ANR, a abouti en 2009 à la mise au point d'un logiciel en open-source permettant de concevoir, développer et tester facilement des interfaces cerveau-ordinateur (http://openvibe.inria.fr). C'est aujourd'hui un logiciel reconnu et utilisé dans le monde entier. Le projet OpenViBE2 fait suite à ce premier projet, et vise à explorer plus en avant ces technologies en les étudiant dans un contexte applicatif particulièrement complexe : celui des jeux vidéo. Il s'agit d'un domaine d'application relativement nouveau pour les ICO. Mais l'arrivée de casques EEG à bas coût a ouvert la porte à ces applications.

L'objectif d'OpenViBE2 est donc d'améliorer les capacités actuelles de ces ICO et de tester leur utilisation et leur potentiel dans le domaine des jeux vidéo.

Les jeux vidéo : un marché en pleine expansion

Après la commande " gestuelle " (joystick, souris, gamepad), la commande " mentale " est une nouvelle voie très prometteuse dans le domaine des jeux vidéo. Depuis le début des années 2000, les scientifiques ont abordé la question scientifique de l'intégration des technologies ICO pour interagir avec des environnements virtuels.

Dans ce contexte, le but du projet OpenViBE2 est d'identifier et d'utiliser l'état mental et les réponses cérébrales de l'utilisateur pour interagir avec le jeu et/ou adapter le contenu du jeu vidéo lui-même. Une approche très originale proposée dans le projet a été de considérer les ICO non plus comme une technique de substitution des interfaces traditionnelles (joystick, souris, gamepad) mais plutôt de voir dans les ICO un moyen de jouer d'une nouvelle façon, complémentaire aux techniques traditionnelles. Ainsi, le joueur peut continuer à utiliser son joystick et en parallèle ou à quelques moments clé du jeu, il pourra mobiliser également son activité cérébrale pour jouer.

Les avancées du projet OpenVibe2 : des innovations prometteuses

Les avancées scientifiques

Maladies et syndromes neurologiques, monde du divertissement ou encore vie quotidienne, OpenViBE2 ouvre la porte à des technologies innovantes et d'intérêts majeurs pour l'être humain. Au cours du projet OpenViBE2, des avancées scientifiques importantes ont été obtenues dans trois domaines:

En Neuroscience : identification de nouvelles activités mentales liées aux processus attentionnels.

Dans le premier volet d'OpenViBE, l'équipe Inserm " Dynamique Cérébrale et Cognition (Dycog) " du Centre de recherche en neurosciences de Lyon (Inserm/CNRS) avait participé au développement du logiciel capable d' " écrire par la pensée ", facilitant la communication des personnes handicapées motrices. OpenViBE2 offre de nouvelles avancées dans le domaine des neurosciences qui permettent d'utiliser les interfaces cerveau-ordinateur à des fins thérapeutiques pour améliorer certains déficits neurologiques comme les troubles de l'attention. Grâce au dispositif, les chercheurs ont pu analyser:

l'attention portée vers le monde extérieur en mesurant en temps réel et de manière sélective le niveau d'engagement du réseau cérébral chargé de rechercher une information précise dans une scène visuelle.
l'attention accordée par l'utilisateur à une représentation interne, c'est-à-dire le niveau d'engagement du réseau cérébral chargé de maintenir une représentation mentale.
Le niveau de distraction d'une personne en déterminant en temps réel à quel moment une personne est distraite, et pendant combien de temps.

Le principe de la réalité virtuelle, utilisé notamment dans le serious game ADHD développé grâce à OpenViBE2, a permis aux chercheurs d'obtenir des résultats sur les déficits attentionnels. L'environnement virtuel ressemble à l'environnement réel et l'utilisateur doit se concentrer pour réaliser une tache qu'il connait dans la réalité. Cet entrainement virtuel fait appel au processus de NeuroFeedback où l'utilisateur est amené à autoréguler son activité cérébrale.

" Associé à la réalité augmentée, le serious game a un effet rééducateur positif qui perdure au-delà de la séance d'entrainement dans l'environnement réel ", souligne Jean Philippe Lachaux, directeur de recherche à l'Inserm. Des progrès sont néanmoins nécessaires dans le dispositif pour qu'il puisse être accessible à chacun.

Dans le traitement des signaux : les chercheurs du CEA et du GIPSA-Lab ont trouvé de nouvelles techniques pour mieux filtrer et interpréter les signaux électriques du cerveau.

Celles-ci permettent notamment d'éliminer les bruits parasites (notamment liés aux activités musculaires : muscles faciaux, clignements des yeux, serrements de mâchoire), et d'extraire l'activité cérébrale pertinente de manière plus précise et plus focalisée. Ces techniques sont très utiles dans le contexte du jeu, où les joueurs peuvent être très mobiles.

En réalité virtuelle et interaction homme-machine : OpenViBE2 a permis aux chercheurs d'Inria d'inventer de nouveaux concepts pour interagir avec des jeux vidéo de manière plus originale et efficace, et de proposer plusieurs premières mondiales :

Interface cerveau-ordinateur " multi-joueurs " : Les chercheurs de l'Inria ont conçu la toute première application ludique collaborative ou compétitive dans laquelle les activités cérébrales de deux joueurs sont analysées en même temps. Les deux joueurs peuvent jouer ensemble, ou l'un contre l'autre, dans un jeu vidéo de football simplifié.
Intégration naturelle des ICO dans les mondes virtuels : les chercheurs ont étudié comment mieux intégrer les stimulations nécessaires à certaines interfaces cerveauordinateur basées sur des réponses cérébrales en intégrant les stimuli visuels directement dans le monde virtuel. Par exemple certaines ICO nécessitent des " flashs visuels " reconnus dans le cerveau de l'utilisateur. Ceux-ci peuvent être intégrés dans le jeu vidéo par exemple sous la forme de papillons qui battent des ailes à différentes fréquences.
Adaptation automatique du monde virtuel à l'état mental du joueur : Enfin, les chercheurs ont proposé des approches radicalement nouvelles où des éléments de l'environnement virtuel sont modifiés automatiquement en fonction de l'état mental. Dans un jeu de labyrinthe virtuel des guides sont ainsi automatiquement activés si l'utilisateur présente une charge mentale trop élevée. Ces travaux ont été primés au niveau international par plusieurs prix scientifiques (best paper award Eurohaptics 2012, BCI Award 2012 nominee).

La salle de jeu du futur

Le projet OpenViBE2 a permis de développer de nombreuses preuves de concept académiques et des prototypes de jeu vidéo industriels tous pilotés par l'activité cérébrale.

Les industriels du jeu vidéo ont travaillé directement avec des laboratoires académiques de l'Inria, de l'Inserm, du CEA et GIPSA-Lab, pour mettre au point des jeux vidéo basés sur l'activité cérébrale. Cette collaboration a permis de mieux spécifier les actions de recherche scientifique tout au long du projet et de converger vers des solutions plus adaptées aux contraintes technologiques du domaine d'application.

Au cours du projet, les partenaires ont mis en place une vaste campagne d'expérimentations sur " les interfaces cerveau-ordinateur et les jeux vidéo " menée à la Cité des Sciences par CHART durant laquelle près de 400 testeurs ont pu tester les prototypes. Les résultats de ces expérimentations ont permis de mettre en avant l'attractivité de ces technologies pour un large public, et de fournir au consortium de partenaires de très nombreux retours d'expérience d'utilisateurs.

Un projet de standardisation a par ailleurs été piloté par UBISOFT pour définir le casque " idéal " afin de mieux correspondre au marché du jeu vidéo.

Exemples de preuves de concept développés par les laboratoires académiques:

MindShooter (Inria) : Dans ce jeu, l'utilisateur contrôle un vaisseau spatial représenté en bas de l'écran et doit détruire des vaisseaux ennemis situés en haut de l'écran. Il dispose de trois commandes : aller à droite, aller à gauche, et tirer. Pour les activer, il doit se concentrer sur la zone du vaisseau correspondant à l'action qu'il souhaite déclencher.
Bain Invaders (GIPSA-LAb): Ce jeu est inspiré du jeu japonais " Space Invaders ". Il faut également détruire les vaisseaux situés à l'écran grâce à une réponse cérébrale qui se produit dès qu'un évènement rare et attendu surgit.
Brain Arena (Inria) : Ce jeu " multi-joueurs " de football simplifié permet à deux utilisateurs de jouer ensemble ou l'un contre l'autre avec leur activité cérébrale.

Trois prototypes industriels de jeux vidéo basés sur l'activité cérébrale ont également été développés par le consortium.

Cocoto Brain (Kylotonn Games) : Un " Casual game " basé sur l'activité cérébrale, Entertainment pour la console Wii de Nintendo. Le joueur doit protéger une fée en empêchant tous les ennemis de s'approcher d'elle. Le joueur doit se concentrer sur les cibles situées au-dessus des ennemis pour les neutraliser.
BCI Training Center (Black Sheep Studio), un jeu de type " entraînement cérébral " utilisant l'EEG développé par Black Sheep Studio. Le jeu permet au joueur de pratiquer des activités ludiques d'entraînement cérébral (recherche visuel, trouver un mot dans une grille) associées à une adaptation du jeu en temps-réel en fonction de son état mental mesuré par le dispositif EEG (relaxation et concentration).
Un serious game pour le traitement des déficits attentionnels (CLARTE) : un prototype est destiné aux enfants atteints de troubles de déficit de l'attention/hyperactivité (TDAH) a été développé par CLARTE. L'environnement virtuel de cette plateforme est une salle de classe dans laquelle l'enfant TDAH est par exemple invité à regarder une vidéo sur un écran dans la classe, dont la qualité perçue est directement liée à son activité cérébrale. Ainsi, s'il souhaite continuer à regarder cette vidéo dans de bonnes conditions, il doit maintenir son activité dans les conditions indiquées par le thérapeute. Plusieurs mini-jeux sont également proposés pour améliorer ses capacités attentionnelles en exploitant l'EEG.

OpenVibe2 : un projet français multipartenaires

INRIA

Équipe Hybrid, Inria Rennes-Bretagne Atlantique, dirigée par Anatole Lécuyer (Directeur de Recherche Inria et chef du projet OpenViBE2). Les chercheurs ont travaillé sur des nouveaux concepts d'interaction avec des jeux vidéo et des environnements virtuels basés sur l'activité cérébrale (notamment les jeux ICO " multi-joueurs " ou l'adaptation automatique du monde virtuel à l'état mental). Inria a également piloté les développements sur le logiciel Opensource OpenViBE (http://openvibe.inria.fr). Enfin les chercheurs ont développé plusieurs jeux/preuves de concept : Mind Shooter, Brain Arena.

L'INSERM

L'équipe Inserm " Dynamique Cérébrale et Cognition " du Centre de recherche en neurosciences de Lyon (Inserm/CNRS) dirigée par Olivier Bertrand, directeur de recherche à l'Inserm a participé aux développements informatiques du logiciel OpenViBE. Les chercheurs ont étudié les différents marqueurs électrophysiologiques de l'activité cérébrale pouvant être facilement détectables en temps-réel par l'ordinateur et manipulables par l'utilisateur.

Le CEA LIST

Au coeur du Plateau de Saclay (Ile-de-France), l'institut CEA-List focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie). En développant des technologies de pointe, le CEA-List contribue à la compétitivité industrielle de ses partenaires par l'innovation et le transfert technologique (www-list.cea.fr). Les chercheurs du CEA ont travaillé sur de nouvelles techniques de traitement des signaux cérébraux (filtrage des artefacts).

Le GIPSA LAB

Les chercheurs du Département Images et Signal ayant participé au projet OpenViBE ont apporté leur expertise notamment au niveau du traitement statistique du signal et en séparation de sources pour les interfaces cerveau-ordinateur et le NeuroFeedback. Ils ont également développé le jeu " Brain Invaders ", une preuve de concept basée sur le signal P300.

CLARTE

Centre de recherche, d'étude et de transfert technologique spécialisé dans le domaine de la Réalité Virtuelle et de la Réalité Augmentée. (Alexandre Bouchet - responsable R&D - www.clarte.asso.fr). CLARTE a supervisé les travaux d'intégration et de développement des prototypes et développé le serious game ADHD pour les enfants souffrant de déficits attentionnels.

UBISOFT

Equipe GEEA, Ubisoft Paris, contacts = Cyril Derouineau (Directeur d'équipe) & Aurélien Sérandour (programmeur gameplay et graphique). UBISOFT a piloté les efforts de standardisation et notamment les spécifications du casque EEG idéal pour le jeu vidéo. UBISOFT a également participé aux spécifications et aux évaluations des développements.

KYLOTONN GAMES

KYLOTONN GAMES, Studio de développement de jeux vidéo, Paris. (Roman Vincent (PDG)) KYLOTONN GAMES a développé l'un des prototypes industriels : le jeu vidéo COCOTO BRAIN. KYLOTONN GAMES a également activement participé à l'effort de standardisation.

BLACK SHEEP STUDIO

Studio de conception et de développement de jeux vidéo, de serious games et d'applications interactives basé à Paris. Contact = Jean-Louis Verlaine, dirigeant www.blacksheep-studio.com. BLACK SHEEP STUDIO a développé l'un des prototypes industriels : le jeu vidéo BCI TRAINER.

CHART/LUTIN

CHART/LUTIN, Laboratoire d'usage et d'ergonomie, situé à la Cité des Sciences. (Charles Tijus, Professeur). CHART a supervisé la vaste campagne d'expérimentations et d'évaluation des prototypes du projet. CHART a également participé à la spécification des développements du projet.

Conclusion et perspectives

En conclusion, le projet OpenViBE2 a permis d'acquérir une expertise scientifique et un savoir-faire technologique unique au monde sur l'utilisation de cette technologie très prometteuse dans un marché porteur. Des avancées scientifiques importantes ont été obtenues dans de multiples domaines tels que les neurosciences, le traitement des signaux électriques cérébraux, ou les interfaces homme-machine et la réalité virtuelle. Des prototypes ont permis d'illustrer les nombreux résultats scientifiques du projet dans des cadres industriels concrets.

Les résultats du projet sont capitalisés sous la forme de savoir-faire, de méthodes et de logiciels tels que le logiciel libre OpenViBE, qui doivent permettre de mieux maîtriser à l'avenir l'arrivée sur le marché du grand public de ces technologies ICO. Des discussions sont notamment en cours actuellement pour la commercialisation des prototypes dans un avenir proche avec la start-up française MENSIA TECHNOLOGIES.

Plus de 50 articles scientifiques dans des conférences ou des revues de référence.