Luis Frederico CONTRERAS SAMAME, doctorant au sein de l’équipe ARMEN, soutiendra sa thèse intitulée « SLAM Collaboratif dans des environnements extérieurs » / « Collaborative SLAM for outdoor environments »

mercredi 10 avril 2019 à 10h30, dans l’amphi du bâtiment S sur le site de Centrale Nantes.

Jury :
– Directeur thèse : Philippe Martinet
– Co-encadrant : Olivier Kermorgant
– Rapporteurs : Ouiddad Labbani – IGIBA, ENSIL – ENSCI, Véronique Cherfaoui, UTC Compiègne
– Autres membres : Luc Jaulin, Lab STICC, ENSTA Bretagne – Vincent Fremont (LS2N)

Résumé : Cette thèse propose des modèles cartographiques à grande échelle d’environnements urbains et ruraux à l’aide de données en 3D acquises par plusieurs robots.
La mémoire contribue de deux manières principales au domaine de recherche de la cartographie. La première contribution est la création d’une nouvelle structure, CoMapping, qui permet de générer des cartes 3D de façon collaborative. Cette structure s’applique aux environnements extérieurs en ayant une approche décentralisée. La fonctionnalité de CoMapping comprend les éléments suivants : Tout d’abord, chaque robot réalise la construction d’une carte de son environnement sous forme de nuage de points.
Pour cela, le système de cartographie a été mis en place sur des ordinateurs dédiés à chaque voiture, en traitant les mesures de distance à partir d’un LiDAR 3D se déplaçant en
six degrés de liberté (6-DOF). Ensuite, les robots partagent leurs cartes locales et fusionnent individuellement les nuages de points afin d’améliorer leur estimation de leur
cartographie locale. La deuxième contribution clé est le groupe de métriques qui permettent d’analyser les processus de fusion et de partage de cartes entre les robots. Nous présentons des résultats expérimentaux en vue de valider la structure CoMapping et ses métriques. Tous les tests ont été réalisés dans des environnements extérieurs urbains du campus de l’École Centrale de Nantes ainsi que dans des milieux ruraux.

Mots-clés : Cartographie 3D, SLAM collaboratif , LiDAR, nuage de points, robotique mobile

***********

Abstract : This thesis proposes large-scale mapping model of urban and rural environments using 3D data acquired by several robots. The work contributes in two main ways to the research field of mapping. The first contribution is the creation of a new framework, CoMapping, which allows to generate 3D maps in a cooperative way. This framework applies to outdoor environments with a decentralized approach. The CoMapping’s functionality includes the following elements: First of all, each robot builds a map of its environment in point cloud format.
To do this, the mapping system was set up on computers dedicated to each vehicle, processing distance measurements from a 3D LiDAR moving in six degrees of freedom (6-
DOF). Then, the robots share their local maps and merge the point clouds individually to improve their local map estimation.
The second key contribution is the group of metrics that allow to analyze the merging and card sharing processes between robots. We present experimental results to validate the
CoMapping framework with their respective metrics. All tests were carried out in urban outdoor environments on the surrounding campus of the École Centrale de Nantes as
well as in rural areas.

Keywords : 3D mapping, collab orative SLAM, LiDAR, point clouds, mobile robotics

Lila Kaci, doctorante au sein de l’équipe ARMEN soutiendra sa thèse intitulée « Conception et commande d’un robot industriel en bois » / « Design and Control of an Industrial Wooden Robot »

mercredi 12 décembre 2018 à 10h30, dans l’amphi du bâtiment S, sur le site de Centrale Nantes.

Ce travail a été réalisé dans le cadre du projet régional « RobEcolo », en collaboration avec Centrale Nantes et l’Ecole Supérieure du Bois (ESB).

Jury : Pierre Renaud, Professeur des universités à l’INSA Strasbourg, Rapporteur ; Frédéric Dubois, Professeur des universités à l’Université de Limoges, Rapporteur ; Vincent Frémont, Professeur des universités à Centrale Nantes, Examinateur ; Claire Dune, Maître de conférence HDR à l’Université de Toulon, Examinateur ; Nicolas Sauvat, Maître de conférence à l’Université de Limoges, Examinateur ; Sébastien Briot, Chargé de recherche CNRS HDR, directeur de thèse ; Clément Boudaud, Maître de conférences à l’Ecole Supérieure du Bois, co-encadrant de thèse ; Philippe Martinet, Directeur de recherche INRIA Sophia Antipolis, co-encadrant de thèse.

Résumé :
Concevoir des robots avec des Matériaux Bio-Sourcés (MBS) dans le but d’écoconception n’a presque jamais été exploré dans le passé.
L’objectif de cette thèse est de montrer qu’il est possible de réduire considérablement l’impact environnemental des robots industriels en remplaçant la grande majorité des matériaux métalliques / composites de carbone utilisés dans leur conception par des matériaux bio-sourcés à faible impact écologique. Le bois est l’un des meilleurs candidats
en raison de ses propriétés mécaniques intéressantes. Cependant, les performances / dimensions du bois varient en fonction des conditions atmosphériques / sollicitations externes. Ainsi, cette thèse s’inscrit dans le cadre du projet RobEcolo dont le défi est de concevoir un robot industriel parallèle en bois rigide et précis.
Afin d’assurer une performance optimale de robots en bois (en particulier la précision) et de minimiser l’incertitude des modèles MBS et les erreurs dues aux variations dimensionnelles en fonction des conditions atmosphériques, des capteurs extéroceptifs peuvent être utilisés pour la commande du robot. Cependant, toute observation
externe a un impact sur les performances du robot. Il est donc nécessaire d’optimiser la conception du robot par rapport aux critères de performance mécanique usuels, mais aussi par rapport aux indices de performance issus de la définition de la commande par capteurs extéroceptifs. Ainsi, l’un des objectifs de ce manuscrit est de décrire une nouvelle approche de conception orientée commande. Cette approche permet de prendre en compte les performances du contrôleur dès la phase de conception du robot ce qui amènera à satisfaire la performance de précision lors de la commande de celui-ci, par la définition des paramètres géométriques primaires optimaux du robot.
En effet, des modèles élastiques sont nécessaires aux étapes de conception et de commande et doivent être suffisamment précis pour fournir une estimation correcte des déformations et des fréquences propres du robot. De plus, ils doivent également être efficaces sur le plan de temps de calcul, car ils seront calculés des milliers de fois
au cours du processus de la conception optimale, ou en temps réel dans la boucle de commande. Afin de répondre à ces exigences, nous proposons dans ce manuscrit une modification basée sur la théorie poutre d’Euler-Bernoulli qui est utilisée pour développer des modèles élastiques en bois simples et rapides capables de prédire un
comportement réaliste des robots en bois en statique et en dynamique.
Enfin, les développements théoriques proposés dans cette thèse ont permis le prototypage d’un mécanisme à cinq barres en bois et les performances du robot en termes de rigidité et de précision ont été validées expérimentalement sur le prototype.

*******

Abstract:
Designing robots with bio-sourced materials (BSM) for eco-design purpose has almost never been explored in the past. This thesis investigates the potential of using bio-sourced materials, which have almost no environmental impact, instead of metals for robot design. Wood is one of the best candidates because of its interesting mechanical properties. However, wood performance / dimensions vary with the atmospheric conditions / external solicitations. Thus, this thesis is in the framework of the RobEcolo project whose challenging to design a stiff and accurate wooden industrial parallel robot.
To ensure optimal performance of the wooden robot (specifically the accuracy) and in order to minimize the uncertainty of the BSM models and the errors due to the dimensional variations due to atmospheric conditions, exteroceptive sensors can be used to control the robot. However, any external observation, impacts the robot performance. It is thus necessary to optimize the robot design with respect to (usual) mechanical performance criteria, but also with respect to performance
indices coming from the definition of the sensor-based controller. Thus one of the objectives of this manuscript is to describe a new design approach « control-based design ». First, this approach aims at finding the optimal primary geometric parameters of the robot, and allows to take into account the sensor-based controller performance
during the design phase. Indeed, elastic models are necessary at the design and control stages of the robot and must be accurate enough to provide a proper
estimation of the robot deformations and natural frequencies. Additionally, they must also be computationally efficient, as they will be computed thousands of time during the optimal design process, or in real time in the control loop. In order to satisfy these requirements, we propose in this manuscript a modification of the Euler-Bernoulli beam theory which is used to develop accurate and fast wood elastic models able to predict the realistic robot static and dynamic behaviors.
Finally, theoretical developments proposed in this thesis allowed the prototyping of an industrial wooden five-bar mechanism and the robot performance in term of stiffness and accuracy has been validated experimentally on the prototype.

Bogdan Khomutenko, doctorant au sein de l’équipe ARMEN, soutiendra sa thèse intitulée « Contribution à la perception visuelle basée cameras grand angle pour la robotique mobile et les véhicules autonomes »

vendredi 15 juin 2018 à partir de 10h, dans l’amphi du bâtiment S à Centrale Nantes.

Jury :

Rapporteurs : M. Patrick RIVES , Directeur de Recherche, INRIA Sophia Antipolis ; M. Pascal VASSEUR , Professeur, l’IUT de Rouen
Examinateurs: M. Eric MARCHAND , Professeur, Université de Rennes 1 ; Mme Claire DUNE , Maître de conférences, Université du sud-Toulon

Directeur de thèse : M. Philippe MARTINET , Professeur, Centrale Nantes ; Co-encadrant de thèse : M. Gaëtan GARCIA , Maître de conférences, Centrale Nantes

Résumé :

Ce travail de thèse s’inscrit dans le domaine de la vision par ordinateur et de la navigation autonome pour les robot mobiles. Le sujet principal est l’utilisation d’optiques grand angle pour la perception visuelle.

La première problématique traitée est la modélisation géométrique des cameras fisheye. Le but est de rendre leur utilisation aussi simple que celle des cameras classiques trou d’épingle. Les modèles existants manquent de précision ou bien sont trop compliqués pour que l’on puisse analyser leurs propriétés géométriques analytiquement. Nous proposons un nouveau modèle de projection basé sur le Modèle Unifié, aussi connu comme Modèle Sphérique. En rajoutant un paramètre intrinsèque, on augmente l’expressivité du modèle et évite le recours à une fonction de distorsion supplémentaire. Les expériences effectuées ont démontré la capacité du modèle à approcher, avec une grande précision, une large gamme d’objectifs fisheye différents. Le concept de surface de projection, proposé dans ce travail, nous a permis de trouver une inverse analytique de ce modèle ainsi que d’établir les équations de projections de droites.

Une boîte à outils d’étalonnage, flexible et efficace, conçue pour les systèmes multi-cameras, a été développée. Elle contient un nouveau détecteur de mire d’étalonnage, qui
est automatique, a une précision sub-pixelique, et qui est plus rapide que le détecteur fourni avec OpenCV. Une méthode de calcul de trajectoires optimales pour l’étalonnage extrinsèque de robots mobiles a été développée et testée. Son aptitude à réduire l’impact du bruit sur la précision a été démontré sur des données synthétiques. Elle a été utilisée pour étalonner un système complet Camera-Odométrie, qui a été employé pour tester les algorithmes de localisation.

La problématique suivante était de calculer la correspondance stéréo directement dans l’espace d’images fisheye, tout en évitant un filtrage additionnel et la rectification d’images.
Cela a été possible grâce à la géométrie épipolaire des systèmes stéréos fisheye, donnée par le modèle proposé. Une fois les équations des courbes épipolaires calculées, l’image est
échantillonnée, pixel par pixel, le long de celles-ci afin de trouver le coût de correspondance. Cette approche nous permet d’employer l’algorithme de Semi-Global Matching et d’obtenir une reconstruction 3D précise. Un certain nombre de techniques, qui améliorent la qualité de correspondance, ont été proposées. De nombreux essais avec des données synthétiques ainsi que réelles ont montré que l’algorithme est capable de reconstruire des objets planaires texturés avec une grande précision.

La localisation visuelle est la dernière problématique traitée dans notre travail. Une nouvelle méthode de triangulation analytique nous permet de réduire le nombre de paramètres
d’optimisation dans le problème d’odométrie visuelle d’une façon significative. Une méthode de localisation visuelle directe basée caméras fisheye, qui emploie aussi d’autres sources d’information de localisation, comme une centrale inertielle ou l’odométrie des roues, a été développée. Des essais avec des données synthétiques montrent sa précision. L’utilisation de l’Information Mutuelle en tant que mesure de similarité permet au système de se relocaliser avec des données réelles dans une carte construite quelques jours auparavant malgré des changements dans l’environnement et l’éclairage. Cette méthode se montre robuste par rapport aux objets mobiles, tels que voitures en marche et piétons.

Mots-clés : fisheye, étalonnage, stéréo, reconstruction 3D, localisation directe

*********

Title: Contribution to visual perception based on wide angle cameras for mobile robotics and autonomous vehicles

Abstract:
This work lies in the domain of computer vision and autonomous navigation for mobile robots. The principal subject is the use of fisheye cameras for visual perception.
The first research question covered by this work is geometric modeling of fisheye cameras. The goal is to make fisheye cameras as easy to use as classical pinhole cameras. Existing models are either not precise enough or too complicated for analytical analysis of their geometric properties. We propose a novel projection model based on the Unified Camera Model, also known as the Spherical Model. Adding one more projection parameter increases the model expressiveness and makes additional distortion mappings unnecessary. As experiments show, this model accurately approximates a large variety of different fisheye lenses. The notion of projection surface, proposed in this work, allowed us to find an analytic inverse of the model and implicit equations of straight line projections. An efficient and flexible calibration toolbox for multi-camera systems has been developed.
It has a novel fully-automated subpixel detector of calibration boards, which is significantly faster than that of OpenCV. A method of calculating optimal trajectories for extrinsic calibration of mobile robots has been proposed and tested. Its effectiveness to reduce the noise impact has been demonstrated on simulated data. It has been applied to calibrate a complete system Camera-Odometry, which has been used for localization experiments. The next research question is how to compute direct stereo correspondence between two
fisheye images. The main goal was to avoid additional filtering such as undistortion and rectification mappings. It was possible thanks to epipolar geometry of fisheye stereo systems provided by the developed model. After computing epipolar curve equations, we sample image pixelwise along them in order to compute the correspondence cost. This approach allows us to apply the Semi-Global Matching algorithm to regularize the computed disparity map and get a more accurate reconstruction. We proposed several techniques of computing the correspondence cost, which improve the correspondence quality. The proposed stereo algorithm has been tested on both synthetic and real data, using the ground truth for validation purposes. Experiments show that the reconstruction of planar textured objects is accurate and precise, which validates the geometric model behind.
The last research question is visual localization. A novel closed-form triangulation method allows us to significantly reduce the number of unknowns in the visual odometry problem. Fisheye cameras have been combined with direct visual localization and additional sources of localization information, such as IMU and wheel odometry. This method was tested on simulated data and showed high precision. Using Mutual Information as similarity measure for image registration allowed the system to relocalize itself using real data in a map constructed a few days earlier with some changes in the environment and in lighting conditions. The method demonstrated robustness with respect to moving objects, such as cars and pedestrians.

Keywords: fisheye, calibration, stereo, 3D reconstruction, direct localization