Mesure expérimentale des processus perceptifs et cognitifs

L’équipe IPI a toujours poursuivi son activité de recherche autour de la mesure expérimentale des processus perceptifs et cognitifs en interaction avec un système numérique. Ces travaux concernent à la fois l’étude des protocoles expérimentaux (ex. : utilisation des outils IA pour améliorer les protocoles d’étude utilisateur : sélection de stimuli, optimisation du nombre de sujets, etc.), le croisement des me?thodologies d’e?valuation de l’expérience (ex. : croisement des méthodes 1ère / 3ème personne, qualitatives et quantitatives), les outils d’analyse des mesures subjectives (ex : prise en compte de l’incertitude des scores subjectifs) et traces objectives (ex : représenter et comparer des traces oculaires en immersion). En particulier, nous investirons les sujets scientifiques suivants :

•  l’étude et la mesure de l’attention visuelle, thèmatique forte de l’e?quipe ;
• les mesures expérimentales hors laboratoire (crowdsourcing) dont l’importance est devenue capitale avec le contexte COVID ;
• le développement de nouveaux protocoles expérimentaux adaptés aux nouvelles technologies immersives et interactives ;
• l’utilisation des outils IA pour une meilleure définition des protocoles expérimentaux ;
• l’évaluation des interactions homme / IA

Modélisation des processus perceptifs et cognitifs

Le deuxième thème de recherche de l’équipe concerne la modélisation des processus auparavant mesurés. Ces processus vont de la modélisation de la perception et de l’attention visuelles à la modélisation de processus cognitifs haut-niveau tels que les fonctions exécutives ou le sentiment d’immersion (tout en gardant un accent sur la modalité visuelle impliquée dans ces processus), en passant par l’étude de la qualité d’expérience multimédia (qualité de l’image diffusée).
Nous ciblons en particulier les points suivants :

• la modélisation de l’attention visuelle en immersion (3D, réalité virtuelle, réalité augmenteé) et la prise en compte de la dynamique du regard;
• la modélisation neuro-physiologique de la perception visuelle à la qualité d’image ;
• la modélisation de l’expérience en immersion et en interaction a? travers notamment l’intégration des mouvements corporels et des signaux physiologiques.

Le besoin d’explicabilité des algorithmes d’IA, notamment en vision par ordinateur, a mené à la définition d’une nouvelle thématique de recherche autour de l’étude de la perception des machines. Nous travaillons ainsi à l’adaptation aux machines des méthodes et modèles développés pour l’étude des processus humains.

Algorithmes cognitifs

Ce principe consiste à mimer une partie du comportement humain lors de processus d’analyse haut niveau par des algorithmes automatiques. Nos connaissances acquises dans le thème “Mesure expérimentale des processus perceptifs et cognitifs” nous permettent de proposer des optimisations ou des conceptions d’algorithmes d’IA. La quantité de données correctement annotée pour un apprentissage profond est toujours une problématique importante. Nous comptons aborder l’apprentissage avec peu de données en développant des stratégies d’apprentissage à partir de peu d’exemples (few shot learning), comme réussissent à le faire les humains.
L’interprétabilité des décisions des machines est un thème social majeur pour une bonne intégration de l’IA dans la société (en santé d’abord mais aussi dans les autres domaines). Nous proposons des systèmes profonds intrinsèquement interprétables par construction, notamment en s’inspirant du principe d’attention visuelle (meilleure brique d’attention visuelle dans les CNN, fonction de coût perceptuelle, architecture contrainte par l’attention, visualisation de l’explication, ...).
Nous appliquons aussi ces principes en compression vidéo cognitive, en poursuivant des travaux visant à exploiter les techniques d’apprentissage profond permettant la classification quasi exhaustive des contenus visuels, pour optimiser les outils opérant à échelle du bloc (ex. métrique de qualité), et ceux opérant à l’e?chelle de l’objet (ex. métrique de fidélité sémantique).

Représentation discrètes pour l'image

En matière de mathématiques de l’image, l’équipe aura toujours à cœur de développer une approche basée sur les représentations discrètes, en complément de l’approche traitement du signal. Nous étudions en particulier l’intégration de ces représentations discrètes aux algorithmes d’apprentissage profond, par exemple la prise en compte de métriques issues de la géométrie et de topologie discrètes dans l’apprentissage.
Nous continuerons d’explorer des approches structurelles de l’apprentissage artificiel (e.g. grammaires 2D pour la représentation d’expressions mathématiques manuscrites, de documents complets). Nous nous intéresserons aussi aux façons d’intégrer ces approches structurelles avec les approches profondes.
Nous poursuivons nos travaux de codage par quantification vectorielle des contenus immersifs, en visant une représentation graduelle et structure?e de la géométrie des scènes selon un critère débit-qualité, le codage des attributs après transformation de graphe, le codage différentiel des scènes dynamiques avec extraction des structures communes identifiées par apprentissage, et l’amélioration des rendus visuels finaux par interpolation des contenus discrets décodés.

Interdisciplinarité

L’interdisciplinarité est une culture importante de l’équipe et se retrouve dans les domaines applicatifs de l’équipe. Ces domaines sont issus de l’activité traditionnelle de l’équipe mais sont aussi influencés par l’environnement local comme l’initiative NExT (Santé, Industrie du futur) ou nos collaborations institutionnelles et industrielles.

Industries culturelles et créatives

Nous poursuivons les travaux que nous menons en lien avec les industries culturelles et créatives, en particulier autour de la mesure et de la modélisation de l’expérience, pour l’évaluation d’artefacts numériques ainsi que l’aide à la conception centrée utilisateur de nouveaux services ou objets numériques.

Santé

Nos travaux en santé concernent principalement trois secteurs : l’ophtalmologie, la médecine personnalisée en neuro-psychiatrie, et l’imagerie médicale.

Industrie du futur

Ce domaine d’application prend de l’ampleur dans nos activités, mais compte tenu du niveau de plus en plus élevé des tâches de vision attendues en robotique, il était naturel que nos compétences des systèmes perceptifs et cognitifs couplés à l’apprentissage profond soient mises en œuvre.

Écrit & Documents

Ce domaine d’application est emblématique des défis pour les outils d’analyse et de reconnaissance automatique. Il permet de valoriser les apports des architectures/algorithmes d’apprentissage profond. Nous nous intéressons aux contenus manuscrits en deux dimensions (équations mathématiques, prise de note libre, schémas, documents anciens) qui malgré les récents progrès des systèmes profonds continuent d’être difficiles à reconnaître, analyser, fouiller, indexer...