Romain Rincé, doctorant au sein de l’équipe DUKe, soutiendra sa thèse intitulée « Behaviour Recognition on Noisy Data-Streams Constrained by complex Prior Knowledge »
mercredi 7 novembre 2018 à 14h, à ONERA Palaiseau (salle J. Dorey, bâtiment J3).
Jury : Philippe Leray (Directeur), Romain Kervarc (co encadrant ONERA, Audine Subias (Rapporteur, LAAS), Thomas Schiex (Rapporteur, INRA MIAT), Benoit Delahaye, Céline Rouveriol (LIPN), Jean Loup Farges (ONERA Toulouse, Invité)pe
Wissam Siblini, doctorant au sein de l’équipe DUKe, soutiendra sa thèse intitulée « Apprentissage multi-label extrême : Comparaisons d’approches et nouvelles propositions »
vendredi 23 novembre à 14h, à Polytech, en salleD004 bâtiment Ireste.
Jury : Pascale Kuntz (Directrice de thèse), Amaury Habrard (Rapporteur, U Jean Monnet St Etienne), Stéphane Canu (Rapporteur, INSA Rouen), Elisa Fromont (IRISA, autre membre), Jean Michel Poggi (U Paris Descartes, autre membre), Franck Meyer (Orange Labs Lannion, invité)
Résumé :
Stimulé par des applications comme l’annotation de documents ou d’images, l’apprentissage multi-label a connu un fort développement cette dernière décennie. Mais les algorithmes classiques se heurtent aux nouveaux volumes des données multi-label extrême (XML) où le nombre de labels peut atteindre le million. Cette thèse explore trois directions pour aborder la complexité en temps et en mémoire du problème : la réduction de dimension multi-label, les astuces d’optimisation et d’implémentation et le découpage arborescent. Elle propose d’unifier les approches de réduction à travers une typologie et deux formulations génériques et d’identifier des plus performantes avec une méta-analyse originale des résultats de la littérature. Une nouvelle approche est développée pour analyser l’apport du couplage entre le problème de réduction et celui de classification. Pour réduire la complexité mémoire en maintenant les capacités prédictives, nous proposons également un algorithme d’estimation des plus grands paramètres utiles d’un modèle classique de régression one-vs-rest qui suit une stratégie inspirée de l’analyse de données en flux. Enfin, nous présentons un nouvel algorithme CRAFTML qui apprend un ensemble d’arbres de décision diversifiés. Chaque arbre effectue une réduction aléatoire conjointe des espaces d’attributs et de labels et implémente un partitionnement récursif très rapide. CRAFTML est plus performant que les autres méthodes arborescentes XML et compétitif avec les meilleures méthodes qui nécessitent des supercalculateurs. Les apports de la thèse sont complétés par la présentation d’un outil logiciel VIPE développé avec Orange Labs pour l’analyse d’opinions multi-label.
Mots-clés : multi-label extrême, réduction de dimension, arbre de décision, méthodes économes
***********
Title: Extreme multi-label learning: comparisons of approaches and new proposals
Abstract : Stimulated by many applications such as documents or images annotation, multi- label learning have gained a strong interest during the last decade. But, standard algorithms cannot cope with the volumes of the recent extreme multi-label data (XML) where the number of labels can reach millions. This thesis explores three directions to address the complexity in time and memory of the problem: multi-label dimension reduction, optimization and implementation tricks, and tree-based methods. It proposes to unify the reduction approaches through a typology and two generic formulations and to identify the most efficient ones with an original meta-analysis of the results of the literature. A new approach is developed to analyze the interest of coupling the reduction problem and the classification problem. To reduce the memory complexity of a classical one-vs-rest regression model while maintaining its predictive performances, we also propose an algorithm for estimating the largest useful parameters that follows a strategy inspired by data stream analysis. Finally, we present a new algorithm called CRAFTML that learns an ensemble of diversified decision trees. Each tree performs a joint random reduction of the feature and the label spaces and implements a very fast recursive partitioning strategy. CRAFTML performs better than other XML tree-based methods and is competitive with the most accurate methods that require supercomputers. The contributions of the thesis are completed by the presentation of a software called VIPE that is developed with Orange Labs for multi- label opinion analysis.
Keywords: extreme multi-label, dimensionality reduction, decision tree, efficient methods
Suiyi Ling, doctorant au sein de l’équipe IPI soutiendra sa thèse intitulée « Perceptual representations of structural and geometric information in images: bio-inspired and machine learning approaches – Application to visual quality assessment of immersive media » / « Représentations perceptuelles de l’information structurelle et géométrique des images : approches bio inspirées et par apprentissage machine – Application à la qualité visuelle de médias immersifs »
lundi 29 octobre à partir de 14h, à Polytech, dans l’amphi A1 du bâtiment Ireste.
Jury : Patrick le Callet (dir thèse), Frédéric Dufaux (Rapporteur, L2S), Dragan Kukolj (rapporteur, University of Novi Sad, Serbie), Luce Morin (INSA Rennes), Vincent Courboulay (Université La Rochelle), Nathalie Guyader (Université Grenoble Alpes)
Abstract:
This work aims to better evaluate the perceptual quality of image/video that contains structural and geometric related distortions in the context of immersive multimedia. We propose and explore a hierarchical framework of visual perception for image/video. Inspired by representation mechanism of the visual system, low-level (elementary visual features, e.g. edges), mid-level (intermediate visual patterns, e.g. codebook of edges), and higher-level (abstraction of visual input, e.g. category of distorted edges) image/video representations are investigated for quality assessment. The first part of this thesis addresses the low-level structure and texture related representations. A bilateral filter-based model is first introduced to qualify the respective role of structure and texture information in various assessment tasks (utility, quality …). An image quality/video quality measure is proposed to quantify structure deformation spatially and temporally using new elastic metric. The second part explores mid-level structure related representations. A sketch-token based model and a context tree based model are presented in this part for the image and video quality evaluation. The third part explores higher-level structure related representations. Two machine learning approaches are proposed to learn higher-level representation: a convolutional sparse coding based and a generative adversarial network. Along the thesis, experiments an user studies have been conducted on different databases for different applications where special structure related distortions are observed (FTV, multi-view rendering, omni directional imaging …).
***********
Résumé :
Ce travail vise à mieux évaluer la qualité perceptuelle des images contenant des distorsions structurelles et géométriques notamment dans le contexte de médias immersifs. Nous proposons et explorons un cadre algorithmique hiérarchique de la perception visuelle. Inspiré par le système visuel humain, nous investiguons plusieurs niveaux de représentations des images : bas niveau (caractéristiques élémentaires comme les segments), niveau intermédiaire (motif complexe, encodage de contours), haut niveau (abstraction et reconnaissance des données visuelles). La première partie du manuscrit traite des représentations bas niveau pour la structure et texture. U n modèle basé filtre bilatéral est d’abord introduit pour qualifier les rôles respectifs de l’information texturelle et structurelle dans diverses tâches d’évaluation (utilité, qualité…). Une mesure de qualité d’image/video est proposée pour quantifier les déformations de structure spatiales et temporelles perçues en utilisant une métrique dite élastique. La seconde partie du mémoire explore les représentations de niveaux intermédiaires. Un modèle basé « schetch token » et un autre basé sur codage d’un arbre de contexte sont présentés pour évaluer la qualité perçue. La troisième partie traite des représentations haut niveau. Deux approches d’apprentissage machine sont proposées pour apprendre ces représentations : une basée sur un technique de convolutional sparse coding, l’autre sur des réseaux profonds de type generative adversarial network. Au long du manuscrit, plusieurs expériences sont menées sur différentes bases de données pour plusieurs applications (FTV, visualisation multivues, images panoramiques 360…) ainsi que des études utilisateurs.
David Sferruzza, doctorant CIFRE au sein de l’équipe AeLoS, soutiendra sa thèse intitulée « Plateforme extensible de modélisation et de construction d’applications web correctes et évolutives, avec hypothèse de variabilité »
jeudi 13 septembre à partir de 10h30 dans l’amphi du bâtiment 34 sur le site de l’UFR Sciences.
Jury : Attiogbé Christian (dir thèse), Rocheteau Jérôme (ICAM, co encadrant), Bodeveix Jean-Paul (rapporteur, IRIT), Huchard Marianne (Rapporteur, LIRMM), Mostefaoui Achour, Laleau Régine (Univ Paris-Est, Créteil), Lanoix Arnaud (Invité), Le Gac Mathieu (Invité, Starup Palace)
Résumé :
De nombreuses sociétés œuvrant dans le logiciel dépendent des technologies web pour tester des hypothèses de marché et ainsi développer des entreprises viables. Elles ont souvent besoin de construire rapidement des services web qui sont au cœur de leurs « Minimum Viable Products » (MVP). Dans ce contexte, la construction des services web doit permettre la variabilité des technologies et des spécifications, et favoriser la productivité des développeurs. Même si de nombreuses solutions existent pour développer des services web, le contexte industriel manque de techniques assurant une construction aisée et flexible, un bon fonctionnement et une facilité de maintenance des services web, tout en étant abordables par des développeurs généralistes.
Dans le but de réduire ces limitations, nous proposons une méthode de développement de services web basée sur l’Ingénierie Dirigée par les Modèles et adaptée pour (i) le prototypage rapide, (ii) la vérification de modèle, (iii) la compatibilité avec les langages de programmation classiques et (iv) l’alignement automatique entre documentation et implémentation. Cette méthode se base sur un méta-modèle volontairement minimaliste, qui est accompagné de règles de cohérence sémantique, et dont les modèles peuvent être dérivés de modèles OpenAPI 3.0 étendus.
Nous fournissons également un outil, SWSG, qui automatise une grande partie de ce processus. SWSG permet notamment de générer le code des services web de manière à l’intégrer à une application utilisant le framework PHP Laravel. Enfin, nous évaluons notre approche au travers de cas d’étude.
Mots clés : Génie logiciel, Services web, Ingénierie Dirigée par les Modèles, Vérification formelle, Génération de code, OpenAPI 3.0
*****
Title : Towards an extensible framework for modelling and implementing correct and evolutive web applications, under variability hypothesis
Abstract:
Lots of software companies rely on web technologies to test market hypotheses and thereby develop viable businesses. They often need to be able to quickly build web services that are at the core of their « Minimum Viable Products » (MVP). In this context, building web services must allow the variability of technologies and specifications and improve developers’ efficiency. Even if numerous approaches to build web services exist, the industrial context lacks methods that ensure an easy and flexible building, a proper functioning and a good maintainability of the web services, while being accessible by generalist developers.
For the purpose of reducing these limitations, we propose a method based on Model-Driven Engineering (MDE) to develop web services. It focuses on (i) rapid prototyping, (ii) model verification, (iii) compatibility with common programming languages and (iv) alignment between documentation and implementation. This method is based on a voluntarily minimalist meta-model, along with rules for semantic consistency. Models can be derived from extended OpenAPI 3.0 models.
We also provide a tool, SWSG, that automatize parts of this process. Especially, SWSG allows to generate code in order to integrate the described web services inside an application made with the Laravel PHP framework. Finally, the whole approach is evaluated through case studies.
Keywords: Software Engineering, Web Services, Model-Driven Engineering, Formal Verification, Code Generation, OpenAPI 3.0
Mohammadreza Maddah, doctorant au sein de l’équipe PACCE, soutiendra sa thèse intitulée « 3D visualization and interactive image manipulation for surgical planning in robot-assisted surgery »
jeudi 27 septembre 2018 à l’IMT-A.
Jury : Caroline CAO, (directrice de thèse, PR, Sorbonne), Cédric Dumas (co encadrant), Guillaume Morel (Rapporteur, PR, Wright State University), Erwan Kerrien, (Rapporteur, CR Inria), Katherine Lin ( Surgeon, Greene County General Hospital), Alexandre Dolgui
Ekaterina Arafailova, doctorante au sein de l’équipe TASC, soutiendra sa thèse intitulée « Functional Description of Sequence Constraints and Synthesis of Combinatorial Objects »
mardi 25 septembre 2018 à 14h30 à l’IMT Atlantique dans l’amphi Besse.
La soutenance aura lieu en Anglais. / The defence will be in English and will take place on Tuesday, on the 25th of September, at 14h30, at IMT Atlantique (Nantes) in the Besse amphitheatre.
Jury : Nicolas Beldiceanu (directeur), Rémi Douence (co encadrant), Michela Milano (Rapporteur, Università di Bologna, Bologne, Italie), Stanislav Zivny (Rapporteur, University of Oxford, Oxford, Royaume-Uni), John Hooker (Carnegie Mellon University, Pittsburgh, États-Unis), Claude Jard
Résumé :
À l’opposé de l’approche consistant à concevoir au cas par cas des contraintes et des algorithmes leur étant dédiés, l’objet de cette thèse concerne d’une part la description de familles de contraintes en termes de composition de fonctions, et d’autre part la synthèse d’objets combinatoires pour de telles contraintes. Les objets concernés sont des bornes précises, des coupes linéaires, des invariants non-linéaires et des automates finis ; leur but principal est de prendre en compte l’aspect combinatoire d’une seule contrainte ou d’une conjonction de contraintes. Ces objets sont obtenus d’une façon systématique et sont paramétrés par une ou plusieurs contraintes, par le nombre de variables dans une séquence, et par les domaines initiaux de ces variables. Cela nous permet d’obtenir des objets indépendants d’une instance considérée. Afin de synthétiser des objets combinatoires nous tirons partie de la vue déclarative de telles contraintes, basée sur les expressions régulières, ansi que la vue opérationnelle, basée sur les automates à registres et les transducteurs finis. Il y a plusieurs avantages à synthétiser des objets combinatoires par rapport à la conception d’algorithmes dédiés : 1) on peut utiliser ces formules paramétrées dans plusieurs contextes, y compris la programmation par contraintes et la programmation linéaire, ce qui est beaucoup plus difficile avec des algorithmes ; 2) la synergie entre des objets combinatoires nous donne une meilleure performance en pratique ; 3) les quantités calculées par certaines des formules peuvent être utilisées non seulement dans le contexte de l’optimisation mais aussi pour la fouille de données.
Mots- clés : programmation par contraintes, automates, transducteurs, expressions régulières, séries temporelles, objets combinatoires paramétrés, invariants linéaires et non-linéaires
*********
Abstract:
Contrary to the standard approach consisting of introducing ad hoc constraints and designing dedicated algorithms for handling their combinatorial aspect, this thesis takes another point of view. On the one hand, it focusses on describing a family of sequence constraints in a compositional way by multiple layers of functions. On the other hand, it addresses the combinatorial aspect of both a single constraint and a conjunction of such constraints by synthesising compositional combinatorial objects, namely bounds, linear inequalities, non-linear constraints and finite automata. These objects are obtained in a systematic way and are not instance-specific: they are parameterised by one or several constraints, by the number of variables in a considered sequence of variables, and by the initial domains of the variables. When synthesising such objects we draw full benefit both from the declarative view of such constraints, based on regular expressions, and from the operational view, based on finite transducers and register automata.
There are many advantages of synthesising combinatorial objects rather than designing dedicated algorithms: 1) parameterised formulae can be applied in the context of several resolution techniques such as constraint programming or linear programming, whereas algorithms are typically tailored to a specific technique; 2) combinatorial objects can be combined together to provide better performance in practice; 3) finally, the quantities computed by some formulae can not just be used in an optimisation setting, but also in the context of data mining.
Keywords: constraint programming, automata, transducers, regular expressions, time series, parameterised combinatorial objects, linear and non-linear invariants
Jiuchun Gao, doctorant au sein de l’équipe RoMaS, soutiendra sa thèse intitulée « Optimal Motion Planning in Redundant Robotic Systems for Automated Composite Lay-up process »
vendredi 29 juin 2018 à 14h00 dans l’amphi E à Centrale Nantes.
Jury : Anatol PASHKEVICH (directeur), Stéphane CARO (co directeur), Gabriel ABBA (Rapporteur, U Lorraine), Hélène CHANAL (Rapporteur, SIGMA Lyon), Sylvain MIOSSEC ( IUT Bourges), Benoit FURET, Claire DUMAS (Invitée, DAHER AEROSPACE)
Résumé : La thèse traite de la planification des mouvements optimaux dans les systèmes robotiques redondants pour l’automatisation des processus d’enroulement filamentaire. L’objectif principal est d’améliorer la productivité des cellules de travail en développant une nouvelle méthodologie d’optimisation des mouvements coordonnés du robot manipulateur, du positionneur de pièce et de l’unité d’extension de l’espace de travail. Contrairement aux travaux précédents, la méthodologie proposée offre une grande efficacité de calcul et tient compte à la fois des contraintes technologiques et des contraintes du système robotique, qui décrivent es capacités des actionneurs et s’expriment par les vitesses et accélérations maximales admissibles dans les articulations actionnées. La technique développée est basée sur la conversion du problème continu original en un problème combinatoire, où toutes les configurations possibles des composants mécaniques sont représentées sous la forme d’un graphe multicouche dirigé et le mouvement temporel optimal est généré en utilisant le principe de programmation. dynamique. Ce mouvement optimal correspond au plus court chemin sur le graphique satisfaisant les contraintes de lissage. Il est également proposé une amélioration de cette technique en divisant la procédure d’optimisation en deux étapes combinant des recherches globales et locales. Au premier stade, l’algorithme développé est appliqué dans l’espace de recherche global généré avec une étape de discrétisation. Ensuite, la même technique est appliquée dans l’espace de recherche local, qui est créé avec un pas de discrétisation plus faible au voisinage de la trajectoire obtenue. Alternativement, la deuxième étape peut implémenter un lissage simple des profils variables redondants. Les avantages de la méthodologie développée sont confirmés par une application industrielle d’enroulement filamentaire pour la fabrication de pièces thermoplastiques au CETIM.
Mots-clés : Système robotique redondant, Planification de mouvements, Trajectoire temps-optimale, Programmation dynamique, Enroulement filamentaire
Adel Hassan, doctorant au sein de l’équipe AeLoS, soutiendra sa thèse intitulée « Styles et méta-styles: Une autre façon de réutiliser l’évolution d’architectures logicielles« .
lundi 24 septembre 2018 à 10h30, dans l’amphi du bâtiment 34 sur le site de la FST.
Jury : Mourad Oussalah (directeur), Kamel BARKAOUI (rapporteur, CNAM), Henri BASSON (rapporteur, Université du Littoral), Isabelle BORNE (Université de Bretagne Sud), Christian Attiogbé, Djamel SERIAI (LIRMM)
Résumé : Au cours des dernières années, la taille et la complexité des systèmes logiciels ont considérablement augmenté, rendant le processus d’évolution plus complexe et consommant ainsi beaucoup de ressources. C’est pourquoi, l’architecture logicielle est devenue l’un des éléments les plus importants dans la planification et la mise en oeuvre du
processus d’évolution. Cette abstraction permet une meilleure compréhension des décisions de conception prises précédemment et un bon moyen d’explorer, d’analyser et de comparer des scenarii alternatifs de l’évolution. Fort de constat, nous avons introduit une approche de styles d’évolution afin de capitaliser les pratiques d’évolution récurrentes dans un domaine particulier et de favoriser leur réutilisation. Dans cette thèse, nous préconisons en spécifiant un cadre de modélisation standard conforme à différents styles
d’évolution et pouvant satisfaire les préoccupations de différentes équipes impliquées dans un processus d’évolution. Afin de relever les défis de la réutilisation de l’évolution de l’architecture logicielle, nous nous fixons comme objectif: D’abord, d’introduire un style de méta-évolution qui spécifie les éléments conceptuels de base nécessaires à la modélisation de l’évolution; ensuite, de décrire une nouvelle méthodologie pour développer un style d’évolution selon plusieurs vues et plusieurs abstractions. Cette approche multi-vues/multi-abstractions permet de réduire la complexité du modèle de processus d’évolution en décomposant un style d’évolution en plusieurs vues et abstractions
pertinentes. Enfin, pour la validité et la faisabilité de notre approche, nous avons développé un prototype basé sur la plateforme de méta-modélisation ADOxx.
Mots-clés : Style d’évolution, Réutilisation de l’évolution, Architecture Logicielle.
****************
Title: Style and Meta-Style: Another Way to Reuse Software Architecture Evolution
Abstract: Over the last years, the size and complexity of software systems has been dramatically increased, making the evolution process more complex and consuming a great deal of resources. Consequently, software architecture is becoming an important artifact in planning and carrying out the evolution process. It can provide an overall structural view of the system without undue focus on low-level details. This view can provide a deep understanding of previous design decisions and a means of analysing and comparing alternative evolution scenarios. Therefore, software architecture evolution has gained significant importance in developing methods, techniques and tools that can help architects to plan evolution. To this end, an evolution styles approach has been introduced with the aim of capitalising on the recurrent evolution practices and of fostering their reuse.
In this thesis, we endeavour to tackle the challenges in software architecture evolution reuse by specifying a standard modeling framework that can conform to different evolution styles and satisfy the concerns of the different stakeholder groups. The primary contribution of this thesis is twofold. First, it introduces a meta-evolution style which
specifies the core conceptual elements for software architecture evolution modeling. Second, it introduces a new methodology to develop a multi-view & multi-abstraction evolution style in order to reduce the complexity of the evolution model by breaking down an evolution style into several views, each of which covers a relevant set of aspects. The central ideas are embodied in a prototype tool in order to validate the applicability and feasibility of the proposed approaches.
Keywords: Evolution style, Evolution reuse, Software architecture.
Bogdan Khomutenko, doctorant au sein de l’équipe ARMEN, soutiendra sa thèse intitulée « Contribution à la perception visuelle basée cameras grand angle pour la robotique mobile et les véhicules autonomes »
vendredi 15 juin 2018 à partir de 10h, dans l’amphi du bâtiment S à Centrale Nantes.
Jury :
Rapporteurs : M. Patrick RIVES , Directeur de Recherche, INRIA Sophia Antipolis ; M. Pascal VASSEUR , Professeur, l’IUT de Rouen
Examinateurs: M. Eric MARCHAND , Professeur, Université de Rennes 1 ; Mme Claire DUNE , Maître de conférences, Université du sud-Toulon
Directeur de thèse : M. Philippe MARTINET , Professeur, Centrale Nantes ; Co-encadrant de thèse : M. Gaëtan GARCIA , Maître de conférences, Centrale Nantes
Résumé :
Ce travail de thèse s’inscrit dans le domaine de la vision par ordinateur et de la navigation autonome pour les robot mobiles. Le sujet principal est l’utilisation d’optiques grand angle pour la perception visuelle.
La première problématique traitée est la modélisation géométrique des cameras fisheye. Le but est de rendre leur utilisation aussi simple que celle des cameras classiques trou d’épingle. Les modèles existants manquent de précision ou bien sont trop compliqués pour que l’on puisse analyser leurs propriétés géométriques analytiquement. Nous proposons un nouveau modèle de projection basé sur le Modèle Unifié, aussi connu comme Modèle Sphérique. En rajoutant un paramètre intrinsèque, on augmente l’expressivité du modèle et évite le recours à une fonction de distorsion supplémentaire. Les expériences effectuées ont démontré la capacité du modèle à approcher, avec une grande précision, une large gamme d’objectifs fisheye différents. Le concept de surface de projection, proposé dans ce travail, nous a permis de trouver une inverse analytique de ce modèle ainsi que d’établir les équations de projections de droites.
Une boîte à outils d’étalonnage, flexible et efficace, conçue pour les systèmes multi-cameras, a été développée. Elle contient un nouveau détecteur de mire d’étalonnage, qui
est automatique, a une précision sub-pixelique, et qui est plus rapide que le détecteur fourni avec OpenCV. Une méthode de calcul de trajectoires optimales pour l’étalonnage extrinsèque de robots mobiles a été développée et testée. Son aptitude à réduire l’impact du bruit sur la précision a été démontré sur des données synthétiques. Elle a été utilisée pour étalonner un système complet Camera-Odométrie, qui a été employé pour tester les algorithmes de localisation.
La problématique suivante était de calculer la correspondance stéréo directement dans l’espace d’images fisheye, tout en évitant un filtrage additionnel et la rectification d’images.
Cela a été possible grâce à la géométrie épipolaire des systèmes stéréos fisheye, donnée par le modèle proposé. Une fois les équations des courbes épipolaires calculées, l’image est
échantillonnée, pixel par pixel, le long de celles-ci afin de trouver le coût de correspondance. Cette approche nous permet d’employer l’algorithme de Semi-Global Matching et d’obtenir une reconstruction 3D précise. Un certain nombre de techniques, qui améliorent la qualité de correspondance, ont été proposées. De nombreux essais avec des données synthétiques ainsi que réelles ont montré que l’algorithme est capable de reconstruire des objets planaires texturés avec une grande précision.
La localisation visuelle est la dernière problématique traitée dans notre travail. Une nouvelle méthode de triangulation analytique nous permet de réduire le nombre de paramètres
d’optimisation dans le problème d’odométrie visuelle d’une façon significative. Une méthode de localisation visuelle directe basée caméras fisheye, qui emploie aussi d’autres sources d’information de localisation, comme une centrale inertielle ou l’odométrie des roues, a été développée. Des essais avec des données synthétiques montrent sa précision. L’utilisation de l’Information Mutuelle en tant que mesure de similarité permet au système de se relocaliser avec des données réelles dans une carte construite quelques jours auparavant malgré des changements dans l’environnement et l’éclairage. Cette méthode se montre robuste par rapport aux objets mobiles, tels que voitures en marche et piétons.
Mots-clés : fisheye, étalonnage, stéréo, reconstruction 3D, localisation directe
*********
Title: Contribution to visual perception based on wide angle cameras for mobile robotics and autonomous vehicles
Abstract:
This work lies in the domain of computer vision and autonomous navigation for mobile robots. The principal subject is the use of fisheye cameras for visual perception.
The first research question covered by this work is geometric modeling of fisheye cameras. The goal is to make fisheye cameras as easy to use as classical pinhole cameras. Existing models are either not precise enough or too complicated for analytical analysis of their geometric properties. We propose a novel projection model based on the Unified Camera Model, also known as the Spherical Model. Adding one more projection parameter increases the model expressiveness and makes additional distortion mappings unnecessary. As experiments show, this model accurately approximates a large variety of different fisheye lenses. The notion of projection surface, proposed in this work, allowed us to find an analytic inverse of the model and implicit equations of straight line projections. An efficient and flexible calibration toolbox for multi-camera systems has been developed.
It has a novel fully-automated subpixel detector of calibration boards, which is significantly faster than that of OpenCV. A method of calculating optimal trajectories for extrinsic calibration of mobile robots has been proposed and tested. Its effectiveness to reduce the noise impact has been demonstrated on simulated data. It has been applied to calibrate a complete system Camera-Odometry, which has been used for localization experiments. The next research question is how to compute direct stereo correspondence between two
fisheye images. The main goal was to avoid additional filtering such as undistortion and rectification mappings. It was possible thanks to epipolar geometry of fisheye stereo systems provided by the developed model. After computing epipolar curve equations, we sample image pixelwise along them in order to compute the correspondence cost. This approach allows us to apply the Semi-Global Matching algorithm to regularize the computed disparity map and get a more accurate reconstruction. We proposed several techniques of computing the correspondence cost, which improve the correspondence quality. The proposed stereo algorithm has been tested on both synthetic and real data, using the ground truth for validation purposes. Experiments show that the reconstruction of planar textured objects is accurate and precise, which validates the geometric model behind.
The last research question is visual localization. A novel closed-form triangulation method allows us to significantly reduce the number of unknowns in the visual odometry problem. Fisheye cameras have been combined with direct visual localization and additional sources of localization information, such as IMU and wheel odometry. This method was tested on simulated data and showed high precision. Using Mutual Information as similarity measure for image registration allowed the system to relocalize itself using real data in a map constructed a few days earlier with some changes in the environment and in lighting conditions. The method demonstrated robustness with respect to moving objects, such as cars and pedestrians.
Keywords: fisheye, calibration, stereo, 3D reconstruction, direct localization
Marija Tomic, doctorante au sein de l’équipe ReV, soutiendra sa thèse intitulée « Manipulation Robotique à deux mains inspirée des aptitudes humaines »
mercredi 4 juillet 2018 à 16h, à la Faculté de génie électrique de l’Université de Belgrade (Serbie).
Jury : Christine Chevallereau (directrice de thèse), Kosta Jovanovic (co-directeur, Université de Belgrade), Philippe Fraisse (rapporteur, LIRMM), Zeljko Durovic (rapporteur, Université de Belgrade), Yannick Aoustin, Aleksandar Rodic (Institut Mihailo Pupin, Belgrade)
