Coporteur de chaire : faire une place à l’impro !

Notre travail vise à rendre les robots socialement intelligents, c’est-à-dire à les doter par exemple de la capacité à savoir quand il leur faut parler, comment il leur faut se positionner pour bien comprendre leurs interlocuteurs et faire vraiment partie de la conversation, etc. Nos recherches portent sur les algorithmes d’apprentissage automatique qui permettent aux robots de mieux s’adapter à de nouvelles situations : l’environnement du robot peut en effet changer brutalement, ne serait-ce que lorsqu’il passe d’une pièce à une autre et que la luminosité et les bruits d’ambiance ne sont plus les mêmes.

Oui, puisque l’objectif de Spring (Socially Pertinent Robots for Gerontological Healthcare) est de pouvoir disposer d’un robot social dans la salle d’attente d’un hôpital de jour. Dans ce lieu, les patients passent de longs moments entre leurs rendez-vous. Avoir un robot qui puisse répondre à leurs questions et faire la conversation permettrait d’une part de soulager le personnel soignant, qui serait moins sollicité, et d’autre part d’améliorer l’expérience des patients en leur proposant une interaction sociale. Le projet, qui a démarré en janvier 2020, a permis de rendre les robots plus robustes aux réverbérations par exemple, mais aussi d’améliorer leurs capacités en matière de conversation. Nous commençons donc à faire les premières expérimentations en conditions réelles au sein de l’hôpital Broca (AP-HP) à Paris.

Tout à fait : l’Institut MIAI Grenoble Alpes (Multidisciplinary Institute in Artificial Intelligence) rassemble plus de 200 personnels permanents académiques, plus de 80 partenaires industriels, plus de 150 doctorants ou postdoctorants et ingénieurs, autour de l’intelligence artificielle.  Il offre donc un cadre de vie scientifique commun, avec des réunions tous les mois au cours desquelles les porteurs des chaires présentent leurs avancées. Ainsi, même si nous nous connaissons déjà entre chercheurs, l’institut crée des occasions de collaborer de façon plus approfondie. D’autant qu’il nous en donne aussi les moyens, en finançant par exemple des bourses de thèses communes.

Je suis coresponsable de la chaire « Audio-visual machine perception and interaction for companion robots », que nous avons proposée en parallèle au projet Spring, mais qui est davantage détachée de l’application hospitalière et spécifiquement concentrée sur la fusion des données audio-visuelles. En d’autres termes, il s’agit d’aider les robots à faire ce que nous faisons sans nous en rendre compte : intégrer à la fois les sons et les images lorsque nous observons une scène pour mieux la comprendre. Nous travaillons en particulier sur le rehaussement de la parole, c’est-à-dire sur la capacité à pouvoir isoler la parole propre du bruit environnant en s’aidant d’informations visuelles.

Grâce aux interactions que j’évoquais précédemment, nous faisons naître des collaborations qui sont bénéfiques pour tout le monde.

Au cours d’une de nos réunions mensuelles, nous avons ainsi identifié des intérêts communs avec une autre chaire, dirigée par  Pascal Perrier et intitulée « Bayesian Cognition and Machine Learning for Speech communication« , qui traite du langage parlé. Avec le Pr Laurent Girin, qui participe à cette chaire, nous avons commencé par comparer l’expertise de leur équipe et la nôtre en matière de méthodes probabilistes pour le traitement de la parole. Nous nous sommes aperçus qu’il existait beaucoup de méthodes de ce type capables de traiter de séquences, ce qui est utile dans le domaine de la parole où l’ordre des mots doit être pris en compte, mais qu’il n’y avait pas d’uniformité dans la façon de les présenter ni de les utiliser.

Le MIAI nous a permis d’obtenir le financement d’une thèse commune qui a abouti à la création d’un cadre pour ces méthodes et outils permettant de résoudre les problèmes d’optimisation. Nous avons pu en tirer un article assez fondamental : « Dynamical Variational Autoencoders: A Comprehensive Review« .

La collaboration s’est poursuivie et un deuxième article vient d’être publié. Celui-ci montre que les méthodes probabilistes que nous avons étudiées peuvent être utilisées pour le rehaussement de la parole… ce qui va servir à la fois à nos recherches et à celles de l’équipe de Pascal Perrier. Maintenant que nous avons trouvé ce socle commun, nous continuerons bien sûr à développer des sujets de recherche ensemble, pour savoir par exemple si ces mêmes méthodes permettent de faire de la fusion audio-visuelle, ou encore si elles peuvent être mélangées à d’autres types de modèles probabilistes pour réaliser de nouvelles tâches.

Je vois ce domaine de recherche comme un big band de jazz. Tout d’abord parce qu’il faut être assez nombreux pour réussir à relever les défis qui y sont liés. Ensuite, parce qu’un directeur d’orchestre doit organiser un peu tout cela, mais en souplesse : pour que la recherche vive, il faut que chaque membre du groupe puisse apporter son âme et ses idées. Dans les big bands, il y a des moments où certains musiciens vont improviser ; dans la recherche, un doctorant ou un étudiant peut faire naître des improvisations de la même manière. Et chacun doit laisser de la place à ceux qui souhaitent proposer des choses qui n’étaient pas écrites dans la partition.