Groupes de travail GT8 : Apprentissage et neurosciences pour la robotique

AUTRES GT

GT8 : Apprentissage et neurosciences pour la robotique

Objectifs

Les interactions entre roboticiens et neuroscientifiques vont croissant. D’un côté, les roboticiens développent des machines de plus en plus performantes, notamment en termes de puissance de calcul embarquée, de précision et rapidité des capteurs, et de capacité d’actionnement de structures mécaniques de plus en plus élaborées. Cependant, au regard des performances de l’homme et même d’animaux beaucoup moins évolués, les tâches que parviennent à exécuter ces robots, que ce soit sur le plan de la perception, de la décision ou de la commande, sont encore très basiques. La plupart des méthodes actuelles ne permettent pas de traiter efficacement la complexité de l’information pour conférer aux robots les capacités souhaitées. Cela conduit de plus en plus de roboticiens à se rapprocher de la communauté des neurosciences dans le but d’identifier les processus neurobiologiques qui permettent aux animaux et à l’homme de construire une représentation unifiée de l’environnement à partir des données multi-sensorielles et de planifier et exécuter des actions de manière autonome avec une grande capacité d’adaptation.

De l’autre côté, les neuroscientifiques essaient de modéliser le fonctionnement du système nerveux central en se basant sur les résultats expérimentaux issus de plusieurs approches complémentaires, allant de l’électrophysiologie à la psychophysique en passant par la neuropsychologie. Dans cette démarche, le point de vue du roboticien peut être d’un intérêt fondamental pour guider l’interprétation de résultats expérimentaux et aider le modélisateur. Les formalismes théoriques et les méthodes d’ingénierie, qui ont été élaborées pour la conception de systèmes artificiels autonomes, offrent en effet un cadre rigoureux pour structurer le raisonnement des neurobiologistes. D’autre part, les robots constituent un moyen de tester le bien-fondé de certaines hypothèses et d’évaluer des modèles théoriques en les mettant en œuvre sur des systèmes physiques, dans le cadre d'interactions naturelles, riches, complexes et bruitées, qu'il est difficile de simuler avec précision.

Le GT8, créé en 2010, réunit les chercheurs engagés dans cette aventure pluridisciplinaire et leur donne les moyens d’enrichir leurs échanges. Il permet de faire naître de nouvelles dynamiques de recherche par la mise en commun de modèles et de techniques issus d’horizons différents. Nous souhaitons continuer à structurer les activités de ce groupe de travail autour de trois thèmes majeurs : le contrôle moteur, la perception et la cognition, les problématiques de l'apprentissage et de la prise de décision en temps réel étant transverses à chacun de ces trois thèmes.

Thèmes

1. Contrôle moteur

- Comprendre et s’inspirer du fonctionnement du système moteur de l’homme et des animaux pour commander les systèmes anthropomorphes. Il s’agit d’une part d’étudier le comportement moteur de l’homme et des animaux à partir de systèmes de capture de mouvement et/ou différents systèmes de mesure dans le but d’imiter ou de mettre en évidence des invariants ou des principes pouvant être appliqués à la commande de robots ou de mannequins numériques. D’autre part, il s’agit d’étudier les différents modèles biologiques du fonctionnement du système moteur, dans le but d’identifier des éléments permettant de définir de nouvelles méthodes de planification de mouvement et de synthèse de la commande des systèmes anthropomorphes. Ces études concernent notamment l’architecture fonctionnelle du contrôle moteur et le traitement neuronal réalisé dans les différents structures nerveuses, l’organisation du mouvement (du réflexe au déplacement volontaire), la notion de plan moteur, le lien entre la perception et le mouvement, la part du feedback et du feedforward, la notion de boucle sensorimotrice et le codage des variables intrinsèques et extrinsèques nécessaires à la commande du mouvement.

- Contribuer à modéliser le fonctionnement du système moteur de l’homme et des animaux en utilisant les outils de la robotique. Même si les robots actuels sont encore fondamentalement différents des systèmes biologiques, les roboticiens ont une bonne connaissance des contraintes qui conditionnent l’élaboration d’un système autonome. De ce fait, leur avis peut être essentiel pour guider le travail du modélisateur sur l’ensemble des questions faisant écho à des méthodes d’ingénierie existantes, notamment : la modélisation des processus de transformation nécessaires à la production d’un mouvement, la synthèse de la commande et les questions de stabilité, les problèmes de retard et le calcul temps réel, la gestion de mesures imprécises, l’estimation, le filtrage, etc. Sur l’ensemble de ces questions, une approche interdisciplinaire apparaît essentielle pour analyser l’activité des différentes aires corticales et sous-corticales impliquées dans le contrôle moteur (cervelet, ganglions de la base, voie colliculaire), ainsi que du système musculosquelettique. L’objectif est d’affiner les théories existantes (point fixe, synergies, primitives motrices, modèles internes, invariants du mouvement, optimisation, CPG, modèles de l'apprentissage moteur, etc.) et de proposer des modèles plus pertinents. Les neurosciences du mouvement sont confrontées à des problèmes de commande et de (bio)mécanique qui sont très proches de celles que doivent résoudre les roboticiens. Par conséquent, il est naturel que les chercheurs en neurosciences du mouvement s'appuient très directement sur les concepts théoriques mis au point par les roboticiens. A cet égard, le progrès en neurosciences est largement amplifié par un meilleur dialogue entre les deux communautés. Certains roboticiens ont par exemple pu mettre en évidence comment la coordination des pattes d'un arthopode pouvait se faire sans générateurs de rythme statique (central patterns generators) : la coordination des pattes se fait alors non pas par une voie de communication neuronale interne entre les différents centres de commande nerveux, mais de façon externe via le feedback sensoriel des pattes touchant le sol. Ainsi, une coordination rythmique peut se créer spontanément dans un robot de type araignée ou cafard.

- Au delà des deux principales applications que sont l’élaboration de stratégies de commande bio-inspirées des robots et la modélisation du système moteur, la thématique est d’un intérêt particulier pour l’ergonomie du mouvement (analyse du mouvement pour la détection de troubles musculosquelettiques), la réhabilitation fonctionnelle, l’animation graphique (production de mouvements réalistes) et les interfaces homme-robot.

2. Perception, intégration & représentations internes

- Capteurs à hautes performance bioinspirés et boucles sensori-motrices. Les liens entre robotique et neurosciences ne se limitent pas aux systèmes de traitement de l'information : le vivant est une source d'inspiration pour la conception de capteurs (rétine, détecteurs de flux optique, champs électriques) aux caractéristiques bien différentes de l'attirail habituel du roboticien (caméra, télémètres laser, etc.). La performance de ces capteurs, et des comportements issus de leur insertion dans des boucles sensori-motrices neuromimétiques, peut s'avérer étonnante au regard du faible coût computationnel de leur mise en œuvre. Leur simple disposition à des endroits pertinents sur le corps du robot ou leur simple forme sont tout aussi importants pour réaliser une tâche computationelle. Par exemple, l'oreille humaine réalise un filtrage spatio-fréquentiel dû à sa forme incurvée et sa position centrée sur la tête. De la même façon, la disposition des cellules photoréceptrices centrée sur la fovéa dans l'oeil humain peut faciliter une transformation log-polaire.

- Construction de la perception sur des bases multisensorielles et sensorimotrices. La perception animale et humaine, afin de compenser les limitations intrinsèques de chaque capteur, tire parti de leur multiplicité et de leur complémentarité pour permettre une réduction de l'incertitude et une flexibilité comportementale plus importante. Chez les animaux au système nerveux central développé, cela passe par une étape d'intégration multisensorielle permettant l'élaboration de représentations internes de l'environnement plus ou moins riches et complexes, spécifiques de l'appareil sensoriel considéré et adaptées à l'action. Cela peut par exemple s'illustrer par la spécialisation de neurones de l'hippocampe pour la représentation de la localisation, sur la base de données allocentriques (visuelles, tactiles, olfactives) et égocentriques (proprioception). La mise à jour de ces représentations peut de plus s'appuyer sur une exploration active afin de maximiser le gain d'information. Dans le cadre de la robotique, des travaux relativement théoriques, issus de la neuropsychologie, cherchent à comprendre comment un agent peut, par la simple manipulation de son appareillage sensorimoteur, construire une représentation la plus juste de la dimensionnalité de son environnement. C'est également dans le cadre de la navigation spatiale que ces questions de la construction de représentations sont cruciales ; de nombreuses équipes s'inspirent de la structuration du système nerveux central des mammifères pour concevoir des architectures de contrôle robustes, mais utilisent également les plateformes robotiques mobiles pour tester les modèles issus des neurosciences computationnelles.

3. Cognition, prise de décision & apprentissage

- Comprendre et modéliser la prise de décision et l'apprentissage chez l'homme. Que ce soit chez l'adulte humain moyen ou dans le cas du comportement d'un expert, les activités humaines font l'objet d'un apprentissage et d'une optimisation progressifs dont les principes généraux, les mécanismes et les substrats neuronaux sont encore loin d'être compris : comment fonctionnent les différents substrats neuronaux centraux dans l'apprentissage (cortex frontal, ganglions de la base, formation hippocampique, cervelet)? Comment coopèrent-ils selon la nature des tâches à apprendre ? Quand il est question d'apprentissage, une mise en situation dans le cadre d'une simulation ou d'un système robotique est généralement nécessaire pour tester ou valider ces principes et mécanismes, parfois à partir d'une modélisation idéalisée du substrat neuronal sous-jacent. Les systèmes artificiels jouent donc un rôle essentiel dans l'étude neuroscientifique de l'apprentissage. Par ailleurs, les outils formels et méthodes de la robotique contribuent directement à l'identification de ces principes et mécanismes de l'apprentissage humain en fournissant aux chercheurs en neurosciences des outils conceptuels susceptibles de guider leur analyse des phénomènes observés chez l'homme : distinction des modalités d'apprentissage (supervision, renforcement et absence de supervision) et des algorithmes correspondants.

- Doter les systèmes robotiques, de facultés d'apprentissage et d'adaptation aussi versatiles que celles des animaux. Face à des tâches de plus en plus variées, effectuées dans des environnements de plus en plus complexes et de moins en moins maîtrisés, la conception a priori de contrôleurs robotiques polyvalents est de plus en plus difficile. Dans cette perspective, doter les robots de demain de facultés d'adaptation et d'apprentissage en situation apparaît comme une nécessité. L'enjeu de ce thème est de permettre aux méthodes d'apprentissage artificiel (machine learning), mises au point dans des cadres souvent beaucoup moins exigeants, de passer à l'échelle pour permettre d'attaquer les questions spécifiques posées par les applications robotiques. Les neurosciences fournissent des concepts qu'il est possible d'adapter à la robotique, sans nécessairement se contraindre à un mimétisme neuronal. Ainsi, l'existence de systèmes multiples d'apprentissage par renforcement chez les animaux, opérant en parallèle sur les mêmes données, capable de coopérer en palliant leurs limitations respectives, est clairement établie en neurosciences. De plus, des modèles computationnels proposent des méthodes de coordination entre ces systèmes. Ces connaissances sont susceptibles de pousser à la conception d'architectures d'apprentissage robotiques à modules parallèles multiples, permettant d'améliorer leurs performances au delà de ce que peut fournir le perfectionnement d'un unique module.

- Faire la jonction entre architectures cognitives et architectures de contrôle robotiques. La robotique a une longue tradition de conception d'architectures de contrôle multi-couches, depuis la planification jusqu'au contrôle moteur en passant par le contrôle exécutif. Des travaux plus récents commencent à questionner l'émergence d'une conscience de soi ou encore d'une mémoire autobiographique pour un agent autonome : comment cela peut émerger de la modification de ces architectures, et quels services cela peut-il rendre à l'agent en question ? Parallèlement, les neurosciences cognitives tentent de décrire la structuration globale des flux d'information dans le cerveau, son architecture cognitive. Ainsi, chez l'animal, des circuits sous-corticaux rapides, phylogénétiquement anciens, permettent une gestion de l'imprévu, une réaction rapide à un éventuel danger. Même s'ils sont d'une flexibilité et d'un raffinement limités, on y trouve déjà des embryons de fusion multimodale, d'apprentissage et de décision. Au niveau cortical, les analyses sensorielles sont plus riches, plus fines, mais également plus lentes ; les aires associatives et frontales se chargent de la fusion des données, des changements de référentiels, de la construction et de la mémorisation de représentations internes en vue de leur exploitation pour une action plus délibérative, guidée vers un but. Ces questionnements autour des architectures atteignent un point de maturité qui permet de premières convergences entre neurosciences et robotique, qui seront amenées à se développer dans les années à venir.

- Faire progresser la compréhension mathématique des algorithmes d'apprentissage et d'adaptation mis en jeu. Les méthodes d'apprentissage artificiel et les outils conceptuels permettant de modéliser l'apprentissage humain reposent sur des cadres théoriques (machine learning, apprentissage statistique) qui font l'objet de recherches intenses. En particulier, quand on les applique à des questions de décision et de commande pour des systèmes robotiques complexes tels que les humanoïdes, l'apprentissage se heurte à des difficultés spécifiques (espaces continus et de grande dimension, volumes de données gigantesques) qui requièrent la mise au point de méthodes méthodes dédiées et d'architectures souvent hiérarchiques. La compréhension de la nature de ces difficultés et des concepts théoriques mis en jeu pour les résoudre fournit un cadre normatif pour guider la recherche en neurosciences sur ces questions. Par exemple, une des récentes avancées dans ce domaine à permis d’étendre les algorithmes d’apprentissage par renforcement à la sélection d’actions continues à partir d’un espace d’état continu, permettant un passage à l’échelle et des applications sur robot réel (Peters & Schaal, 2008). Il reste toutefois à étudier si ces méthodes permettent de mieux décrire les activités cérébrales chez l’homme, et les coordonner avec d’autres processus d’apprentissage dans des architectures de contrôle pour leur donner plus d’autonomie. Une autre direction dans laquelle des progrès récents ont été effectués concerne la gestion de l’incertitude. La fertilisation des modèles de neurosciences computationnelles par l’économie formelle ont permis de distinguer différents types d’incertitudes (risque, ambiguïté, volatilité, ...) qui trouvent leurs corrélats spécifiques dans le cerveau. Reste à voir si ceci peut inspirer et enrichir les algorithmes d’apprentissage robotique pour leur permettre de mieux s’autoévaluer.

- La mise au point de méthodes d'apprentissage applicables à des contextes robotiques variés est un enjeu majeur pour l'avènement de la robotique dite "de service", qui met le robot au contact direct (souvent physique) de l'homme dans son environnement naturel, avec toutes les conséquences que cela implique sur le caractère imprédictible a priori des interactions entre l'homme, le robot et leur environnement.

Actions
- Le tout premier objectif de ce GT sera de faire un travail de communication visant à amener les roboticiens et les neuroscientifiques intéressés par cette approche interdisciplinaire à rejoindre un même groupe de travail.
- Plusieurs fois par an nous organiserons des journées visant à réunir les membres du GT et leur permettre à présenter leurs travaux. Ces journées pourront, soit fédérer l’ensemble des membres, soit être centrées sur l’un des trois thèmes. L’objectif est de créer un lieu d’échange, avec des présentations pouvant aller de la description de premiers résultats par des doctorants, à des exposés de synthèse par des spécialistes de chaque discipline.
- Les informations et les documents relatifs à l’activité du GT seront maintenus sur le site du GDR.
- Nous rédigerons progressivement un document visant à présenter l’ensemble des activités de la communauté menées autour du lien Robotique-Neurosciences.