Soutenance de thèse de Julien LANGLOIS (équipe IPI)

Julien Langlois, doctorant au sein de l’équipe IPI, a soutenu sa thèse de doctorat intitulée « Vision industrielle et réseaux de neurones profonds – Application au dévracage de pièces industrielles en plastique » / « Industrial image processing and deep neural networks – Application to industrial plastic parts bin-picking »

mercredi 28 août 2019 à Polytech.
Cette thèse CIFRE est l’issue d’une collaboration entre le LS2N et l’entreprise Multitude-Technologies basée à Laval.

Jury :
Rapporteur : M. Cédric DEMONCEAUX, Professeur de l’université de Bourgogne
Rapporteur : M. Antoine TABBONE, Professeur de l’université de Lorraine
Examinatrice : Mme Véronique EGLIN, Professeure de l’INSA Lyon
Examinateur : M. Vincent LEPETIT, Professeur de l’université de Bordeaux
Directeur de thèse : M. Christian VIARD-GAUDIN, Professeur de l’université de Nantes
Co-directeur de thèse : M. Nicolas NORMAND, Professeur de l’université de Nantes
Encadrant de thèse : M. Harold MOUCHÈRE, MCF HDR de l’université de Nantes
Membre invité : Mme Morgane TANGUY, Docteure, responsable R&D du groupe WEDO

Résumé :
Ces travaux de thèse présentent une méthode d’estimation de pose de pièces industrielles en vue de leur dévracage à partir d’un système mono-caméra 2D en utilisant une approche par apprentissage avec des réseaux profonds. Dans un premier temps, des réseaux de neurones assurent la segmentation d’un nombre prédéterminé de pièces dans la scène. En appliquant le masque binaire d’une pièce à l’image originale, un second réseau infère la profondeur locale de cet objet. En parallèle des coordonnées de la pièce dans l’image, cette profondeur est employée dans deux réseaux estimant à la fois l’orientation de l’objet sous la forme d’un quaternion et sa translation sur l’axe Z. Enfin, un module de recalage travaillant sur la rétro-projection de la profondeur et le modèle 3D de l’objet, permet d’affiner la pose prédite par les réseaux. Afin de pallier le manque de données réelles annotées dans un contexte industriel, un processus de création de données synthétiques est proposé. En effectuant des rendus aux multiples luminosités, la versatilité du jeu de données permet d’anticiper les différentes conditions hostiles d’exploitation du réseau dans un environnement de production.

Abstract :
This work presents a pose estimation method from a rgb image of industrial parts placed in a bin. In a first time, neural networks are used to
segment a certain number of parts in the scene. After applying an object mask to the original image, a second network is inferring the local depth
of the part. Both the local pixel coordinates of the part and the local depth are used in two networks estimating the orientation of the object as
a quaternion and its translation on the Z axis. Finally, a registration module working on the back-projected local depth and the 3D model of the
part is refining the pose inferred from the previous networks. To deal with the lack of annotated real images in an industrial context, an data
generation process is proposed. By using various light parameters, the dataset versatility allows to anticipate multiple challenging exploitation
scenarios within an industrial environment.