FLASH INFORMATIQUE FI



Interfaces cérébrales




José del R. MILLÁN

Samy BENGIO


Ces dernières années, les technologies de l’information et de la communication ont littéralement révolutionné les industries, l’économie, et surtout, notre qualité de vie. De fait, nous prenons souvent pour acquis l’accès à plusieurs de ces technologies émergentes. Malheureusement, toute une catégorie de personnes est actuellement à toute fin pratique exclue de ces nouveaux systèmes de communication : il s’agit des personnes ayant des dysfonctionnements physiques sévères. Pourtant il existe peut-être une solution pour elles : la possibilité de communiquer ou de contrôler des appareils électroniques directement par la pensée ! Cela ressemble peut-être à de la science fiction, c’est pourtant la promesse des Interfaces Cérébrales (Brain Interfaces), dont le but est d’augmenter nos capacités de communication en nous permettant d’interagir avec un ordinateur par l’intermédiaire d’une modulation consciente de notre activité cérébrale, ceci après une courte période d’apprentissage. Nous avons ainsi développé ces dernières années quelques prototypes utilisant des signaux cérébraux pour la communication et le contrôle, que nous avons testés sur plusieurs sujets. Notre groupe de recherche à l’IDIAP (situé à Martigny) est en train d’améliorer ces méthodes dans le cadre du pôle de recherche national sur le traitement multimodal IM2 : Interactive Multimodal Information Management (http://www.im2.ch).

De la pensée à l’action

On a pu observer ces dernières années un intérêt grandissant pour la recherche sur l’utilisation de signaux physiologiques à des fins de communication et de contrôle pour des personnes physiquement diminuées. Plusieurs expériences se sont accumulées pour montrer la possibilité d’analyser les ondes cérébrales en temps réel afin d’en dériver une information utile sur l’état mental des sujets, laquelle est ensuite transformée en une action externe telle que le choix d’une lettre sur un clavier virtuel, ou le déplacement d’un robot. Cette forme de communication alternative, qui ne requiert pas du sujet qu’il effectue une action physique, est appelée Interface Cérébrale (IC).

Bien que de véritables prototypes d’IC ne furent développés que très récemment (voir une revue de ces systèmes par Millán, 2002 ; Nicolelis, 2001 ; Wolpaw et al., 2002), les idées principales ont en fait été proposées dans les années 1970 et les premières expériences furent basées sur l’analyse de l’activité électrique du cerveau générée en réponse au déplacement du focus des yeux vers des zones particulières. Ce n’est que 10 ans plus tard que de premières expériences furent rapportées sur l’analyse, après leur enregistrement, de signaux électriques du cerveau qui ne dépendaient pas du contrôle de muscles ou d’une quelconque stimulation externe.

Une IC peut analyser une variété de signaux provenant du cerveau. La plupart des IC utilisent des signaux enregistrés à l’aide d’un électroencéphalogramme (EEG), à savoir, l’activité électrique du cerveau enregistrée à l’aide d’électrodes placées sur la surface du cuir chevelu. La source principale d’un EEG est l’activité synchrone de milliers de neurones corticaux. Mesurer un signal EEG est une méthode simple et non envahissante (ne nécessitant pas d’implants dans le cerveau) d’analyser l’activité électrique du cerveau, mais qui ne fournit pas d’information détaillée sur l’activité de chacun de ces neurones (ni même de petits ensembles de neurones) qui pourrait être enregistrée à l’aide de micro-électrodes implantées par des moyens chirurgicaux dans le cortex cérébral. Bien qu’une telle méthode de mesure serait probablement plus rapide et plus précise, nous considérons que les méthodes non envahissantes sont préférables pour des raisons éthiques et technologiques.

Certains groupes de recherche exploitent des potentiels évoqués, c’est-à-dire la réponse automatique du cerveau à des stimuli externes. Les potentiels évoqués sont en principe faciles à repérer, mais contraignent le sujet à se synchroniser avec un système externe. Une alternative plus naturelle et pratique consiste à utiliser l’activité mentale spontanée, telle que la variation locale de rythmes des signaux EEG. Les rythmes les plus souvent utilisés sont reliés à l’imagination de mouvement de parties du corps, et sont enregistrés à partir des régions centrales du cuir chevelu, au-dessus du cortex sensori-moteur (tels que les points C3 et C4 sur la figure 1). Nous avons choisi, de notre côté, d’utiliser une combinaison de tâches moteur et cognitives (telle que des opérations arithmétiques ou le langage), sachant que plusieurs études neurocognitives ont montré que certaines de ces tâches mentales activaient des aires corticales locales relativement éloignées les unes des autres. En particulier, nous enregistrons maintenant des signaux EEG à l’aide d’un système commercial portable utilisant un bonnet incorporant 32 électrodes situées à des positions standards du système international 10-20 (la figure 1 montre les positions sur le cuir chevelu, tandis que les électrodes sont représentées par des points blancs sur les figures 2 et 3), bien que l’analyse est principalement basée sur un petit sous-ensemble de ces électrodes (différentes combinaisons des points gris sur la figure 1). Par exemple, dans le cas des deux applications présentées ici, nous avons enregistré des signaux EEG provenant des électrodes fronto-centro-pariétales F3, F4, C3, Cz, C4, P3, Pz et P4.

 

fig.1 - Positions des 32 électrodes EEG sur le cuir chevelu.
Les entrées fournies au classifieur statistique de l’IC correspondent à des caractéristiques extraites d’une combinaison de 8 des électrodes indiquées ici en orange

 

 

En résumé, l’objectif est de reconnaître la tâche mentale sur laquelle le sujet se concentre par l’analyse des variations des rythmes EEG sur plusieurs aires corticales. Le problème est que nous ne connaissons bien sûr pas la signature de ces tâches mentales. Ainsi, notre approche consiste à découvrir des séquences EEG typiques de chaque tâche mentale cachées dans le signal EEG complet. Pour ce faire, nous utilisons des techniques d’apprentissage statistique (Statistical Machine Learning) pour entraîner un classifieur (programme tentant de discriminer les signaux EEG) et nous utilisons un processus d’apprentissage mutuel où le sujet et l’interface cérébrale sont couplés et s’adaptent l’un à l’autre : le classifieur apprend les signaux EEG typiques des tâches spécifiques au sujet, pendant que le sujet développe une stratégie mentale pour lui permettre de se faire comprendre par l’interface cérébrale. Ce double apprentissage accélère le processus d’adaptation. De fait, grâce à ce processus, nos sujets ont pu obtenir de bonnes performances en seulement quelques heures d’apprentissage. Notons cependant que d’autres chercheurs ont montré que des sujets pouvaient aussi apprendre à contrôler leur activité cérébrale à l’aide de longues séances d’entraînement pour s’adapter à des IC non adaptables.

L’interface cérébrale vue de l’intérieur

La plupart des IC basées sur les signaux EEG utilisent des protocoles synchrones, où le sujet doit suivre une séquence fixe et répétitive pour passer d’une tâche mentale à l’autre. Dans ces systèmes synchrones, les phénomènes EEG à reconnaître sont alignés avec un système externe et un essai dure en général de 4 à 10 secondes. En comparaison, notre IC est basée sur un protocole asynchrone où le sujet décide seul et à son propre rythme du début et de la fin d’une tâche mentale. Cela rend le système très flexible et plus naturel à utiliser, tout en permettant des temps de réponse plus rapides (environ 0.5 seconde dans notre cas).

En général, les IC synchrones prennent des décisions binaires (oui/non) en tentant de reconnaître 2 tâches mentales différentes. Notre système essaye lui de reconnaître 3 tâches mentales en utilisant un classifieur statistique qui peut aussi répondre inconnu dans certains cas. L’incorporation de ce critère de rejet (basé dans notre cas sur un seuil de probabilité minimale) permet d’éviter de prendre des décisions risquées, ce qui peut s’avérer important pour certaines applications. D’un point de vue pratique, une faible erreur de classification est un critère de performance important pour une IC, sinon les sujets deviennent rapidement frustrés et arrêtent d’utiliser le système. D’un autre coté, l’IC doit aussi répondre rapidement (moins d’une seconde si possible) afin de permettre une interaction satisfaisante. D’où l’intérêt des IC asynchrones.

Pendant la période initiale d’entraînement d’environ quelques heures (normalement étalée sur plusieurs jours consécutifs), les sujets apprennent à contrôler 3 tâches mentales de leur choix. Ces tâches sont relativement abstraites et devraient si possible concerner des régions corticales différentes l’une de l’autre. Le sujet choisit donc lui-même, après une courte période d’évaluation, 3 tâches parmi un ensemble comprenant : la relaxation, l’imagination d’un mouvement de la main gauche (respectivement de la main droite), la visualisation de la rotation d’un cube, la soustraction répétitive par un nombre fixé à l’avance, ou encore une tâche d’association de mots.

Chaque jour, les sujets participent à plusieurs séances d’entraînement d’une durée d’environ 5 minutes chacune, séparées par des pauses de 5 à 10 minutes. Durant une séance d’entraînement, le sujet est assis et passe aléatoirement d’une tâche à l’autre toutes les 10 à 15 secondes. Les sujets reçoivent un retour par l’intermédiaire de 3 indicateurs de couleurs différentes sur l’écran d’ordinateur, chacun associé à l’une des tâches mentales choisies par le sujet. Un indicateur s’allume lorsque le signal EEG arrivant à l’ordinateur est classifié comme appartenant à la tâche mentale correspondante. à la fin de chaque session d’entraînement, le classifieur statistique est adapté pour tenir compte de la séance. Après cette séquence initiale de séances d’entraînement, certains sujets sont déjà capables d’opérer mentalement l’un des deux prototypes que nous avons développés (le clavier virtuel de la figure 2, ou le robot mobile de la figure 3).

fig.2 - Clavier virtuel activé par IC.
Cette application a été développée au Joint Research Centre de la Commission Européenne (Ispra, Italie) et montre le système EEG portable utilisé à cette époque (1999-2001)

 

fig.3 - Le sujet contrôle mentalement le mouvement du robot à travers les différentes chambres de son environnement.
Cette application a été développée au Laboratoire de Calcul Neuromimétique (LCN) de l’EPFL (durant l’année 2002)

 

Les signaux EEG sont enregistrés à l’aide d’un système portable (les figures 2 et 3 montrent deux des systèmes que nous avons utilisés depuis 1996) et traités en temps réel afin d’en extraire des caractéristiques adéquates pour le classifieur. Tout d’abord le signal EEG est filtré à l’aide d’un Laplacien de surface, ce qui permet d’extraire un signal qui représente mieux l’activité corticale provenant des sources situées au-dessous des électrodes. Par la suite, la densité spectrale est estimée dans la bande 8-30 Hz 16 fois par seconde sur la dernière seconde du signal, à une résolution de fréquence de 2 Hz pour 8 des canaux fronto-centro-pariétaux mis en évidence sur la figure 1. Le résultat est un vecteur de 96 dimensions (8 canaux fois 12 composantes fréquentielles).

Les tâches mentales sont ensuite reconnues par un classifieur basé sur des distributions gaussiennes, entraîné à différencier les vecteurs correspondant aux 3 tâches mentales différentes. Le classifieur est composé de plusieurs unités de traitement spécialisées chacune sur un prototype d’une des tâches mentales à reconnaître. Plusieurs prototypes par tâche mentale sont utilisés afin de mieux estimer la distribution de probabilité des tâches connaissant le vecteur représentant le signal EEG. L’objectif consiste donc à trouver la position (moyenne) appropriée des prototypes ainsi que leur influence (variance) respective, et ce dans un espace de haute dimension (96), afin de mieux discriminer les tâches. Nous utilisons pour cela un algorithme de descente de gradient stochastique afin de minimiser l’erreur quadratique moyenne. De manière intuitive, les prototypes tentent de se rapprocher des vecteurs représentant les signaux EEG de la tâche mentale qu’ils doivent représenter et tentent de s’éloigner des vecteurs représentant les autres tâches mentales. à la fin de l’entraînement, la réponse du modèle à un vecteur représentant un signal EEG correspond à la tâche ayant accumulé la plus grande probabilité, assumant un seuil de confiance suffisamment élevé. Finalement, l’IC prend une décision toutes les 0.5 seconde en moyennant les réponses de 8 décisions consécutives du classifieur.

Exemples d’applications contrôlées par IC

Normalement, les sujets s’entraînent pendant quelques jours, à raison d’environ 30 minutes par jour. Les résultats expérimentaux montrent qu’après plusieurs jours d’entraînement (normalement 5), les taux de reconnaissance du système sont de 70% ou plus pour une application impliquant 3 tâches mentales, soit un taux 2 fois supérieur à un système répondant aléatoirement (il aurait environ 33.3% de réussite pour une telle application). Ce résultat modeste est compensé par deux autres propriétés : le taux d’erreur est très bas (5%, parfois même 2%, les 25% restant étant classifiés inconnu par le système) et les décisions sont prises rapidement, chaque 0.5 seconde. à cette vitesse, un taux de classification modeste combiné à un faible taux d’erreur permet néanmoins d’opérer de manière raisonnable. De fait, la reconnaissance de la tâche désirée prend entre 1 et 1.5 seconde en moyenne. D’autres sujets se sont entraînés intensivement pendant la même journée. Aucun d’eux n’avait jamais utilisé un système d’IC auparavant et pourtant, après moins de 2 heures, ils ont pu obtenir le même genre de performance que les premiers. Notons d’ailleurs que l’un de ces derniers sujets (OPC) est un handicapé physique souffrant d’atrophie musculaire progressive. Au total, nous avons travaillé avec environ 15 sujets dans des conditions variées.

Nous avons aussi développé plusieurs démonstrateurs d’IC. Par exemple, l’IC peut être utilisée pour choisir des lettres d’un clavier virtuel apparaissant sur l’écran d’ordinateur, afin de pouvoir écrire un message (fig. 2). Au début, le clavier complet apparaît divisé en trois sections, chacune associée à une tâche mentale. Dès que le sujet a fait son choix et que ce dernier a été reconnu par l’IC, la section choisie est de nouveau séparée en trois sous-sections, et l’opération est répétée jusqu’au choix d’une lettre unique. Cette lettre est alors ajoutée au message et le processus de sélection peut recommencer à partir du clavier complet pour le choix de la lettre suivante. En fait, le choix d’une partie de clavier incorpore en plus une mesure de vérification permettant de réduire la probabilité de mauvaise sélection et permet même parfois de les corriger. Pour nos sujets entraînés, il fallait en moyenne 22 secondes pour choisir une lettre. Sans ces mesures de vérification supplémentaires, un des sujets pouvait même écrire à une vitesse de 7 secondes par lettre. Pour comparaison, il existe d’autres claviers virtuels activés par des IC, mais ceux-ci permettent d’écrire une lettre toutes les 1 à 2 minutes environ. Notons que le sujet OPC s’est aussi porté candidat pour valider notre système chez lui à Londres. Après deux heures d’entraînement, OPC était déjà capable d’écrire avec notre clavier virtuel. C’est la première technologie que j’essaye, incluant la reconnaissance de la parole, qui m’a permis de me sentir indépendant et en possession de mes moyens, a dit OPC aux reporters de la BBC ayant suivi l’expérience. Bien sûr, il faut être prudent et plusieurs études supplémentaires doivent encore être effectuées afin de confirmer cette première réussite.

Dans un autre ordre d’idée, nous nous sommes aussi intéressés au contrôle d’appareils externes (robots, prothèses artificielles, etc) par des IC. Jusqu’ici, on ne pouvait le faire qu’à l’aide d’électrodes implantées dans le cortex, surtout parce que les systèmes basés sur les EEG étaient considérés trop lents pour contrôler des séquences de mouvements rapides et complexes. Nous avons cependant récemment montré qu’une IC basée sur les EEG pouvait aussi permettre le contrôle d’un robot mobile (simulant une chaise roulante motorisée) effectuant des trajectoires non-triviales à travers un environnement composé de plusieurs chambres, comme dans une maison (fig. 3). L’idée principale ici est que les états mentaux du sujet sont associés à des commandes de haut niveau (telles que : tourne à droite à la prochaine occasion) et le robot exécute ces commandes de manière autonome en utilisant ses propres capteurs sensoriels. Une caractéristique importante du système est que le sujet peut émettre une de ces commandes de haut niveau à n’importe quel moment, grâce à l’interface asynchrone que nous avons adoptée pour nos IC. à l’aide de ce système, deux sujets ont réussi à mentalement diriger le robot sur des trajectoires non-triviales en visitant 3 ou 4 chambres dans l’ordre désiré. Plus intéressant, les résultats expérimentaux montrent que le contrôle mental du robot est à peine moins bon que le contrôle manuel pour les mêmes trajectoires ! Ce genre de résultat pourrait facilement s’étendre à d’autres applications comme le contrôle des interrupteurs d’une maison dite intelligente (contrôle des lumières, de la télévision, des portes, etc) à l’aide d’une IC.

Perspectives futures

Nous avons tenté ici de présenter brièvement la technologie permettant la réalisation d’interfaces cérébrales, technologie située au carrefour de l’informatique, de la bio-ingénierie, et des neurosciences. Nous avons aussi décrit notre propre approche, illustrée par deux applications contrôlées par IC que nous avons développées ces dernières années. Naturellement, d’autres groupes de recherche à travers le monde poursuivent les mêmes buts que nous, utilisant parfois des principes différents (voir les références pour plus d’information, ainsi qu’un article paru dans la section News Focus du journal Science parlant des principaux enjeux et joueurs dans le monde des IC). En particulier, l’Institut de Traitement des Signaux (ITS) de l’EPFL s’intéresse aussi aux IC.

Ces résultats initiaux paraissent encourageants, mais les IC sont certainement encore à leurs balbutiements, leur vitesse de communication est encore bien plus faible que la plupart des autres modalités telles que la parole ou les mouvements corporels (comme le suivi de cible par les yeux ou les gestes). Cependant, des expériences récentes effectuées avec des singes ayant des électrodes implantées dans leur cerveau supportent l’idée qu’il est probablement possible de contrôler en temps réel des unités complexes comme une prothèse externe directement par l’activité cérébrale. L’objectif pour nous est donc d’atteindre des résultats similaires par des méthodes non envahissantes. En fait, notre robot mobile contrôlé par IC représente certainement une première étape dans cette direction, où l’on voit que l’interaction entre robotique intelligente, protocoles de communication EEG asynchrone et apprentissage statistique permettent à un sujet d’effectuer des commandes de haut niveau. Ce n’est bien sûr qu’un début, et dans le cadre du pôle de recherche national NCCR-IM2, nous avons commencé un projet impliquant un consortium de 4 partenaires (Clinique de Neurologie de l’Hôpital Universitaire de Genève, CSEM à Neuchâtel, Centre Universitaire Informatique de l’Université de Genève, et nous-mêmes à l’IDIAP de Martigny) dans le cadre duquel nous essayons d’améliorer la vitesse et la performance de nos IC en tentant de réduire le bruit dans les signaux EEG, en essayant d’extraire des informations plus discriminantes, en proposant d’autres types de classifieurs, notamment basés sur les modèles de Markov cachés, utilisés avec succès en reconnaissance de la parole, et en adaptant au mieux notre IC à chaque sujet. Ce dernier objectif est important car, au fur et à mesure que le sujet acquiert de l’expérience, il développe de nouvelles capacités et change ses processus d’activités cérébrales. Pire, il est connu que les signaux cérébraux changent naturellement d’eux-mêmes à travers le temps.

Si la technologie des IC atteint un jour un niveau de performance suffisant, il est fort probable que les gens l’utiliseront en combinaison avec d’autres modalités d’interaction sensorielle (comme la parole ou les gestes) et d’autres signaux physiologiques (comme la conductivité de la peau ou les électromyogrammes). De telles interfaces multimodales permettront une plus grande vitesse de communication avec une plus grande fiabilité par rapport à l’utilisation des seules ondes cérébrales.

Pour conclure, d’une manière ou d’une autre, nous pensons que l’utilisation de l’activité cérébrale permettra ultimement aux gens d’interagir de manière plus naturelle et personnelle avec leur environnement.

Références


• Millán J. del R. (2002). Brain-computer interfaces. In M. A. Arbib (ed.), Handbook of Brain Theory and Neural Networks, pp. 178-181. MIT Press : Cambridge, MA.
• Nicolelis M.A.L. (2001). Actions from thoughts. Nature, 409:403-07.
• News Focus (2003). Tapping the mind. Science, 299:496-499.
• Wolpaw J.R. et al. (2002). Brain-computer interfaces for communication and control. Clinical Neurophysiology, 113:767-791.

 


Rappelons à cet égard que l’IDIAP et l’EPFL collaborent depuis de nombreuses années et qu’une nouvelle convention a récemment renforcé les liens entre les deux institutions.

Notez cependant que le texte de cet article a été écrit par l’un des auteurs sur un clavier d’ordinateur normal, à une vitesse d’environ 0.25 seconde par lettre.

© dessin Pécub 



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.