Soutenance de thèse de Ting ZHANG

Ting ZHANG, doctorant au sein de l’équipe IPI, soutiendra sa thèse
jeudi 26 octobre 2017 à 14h
dans l’amphi A1 du Bâtiment IRESTE à Polytech

Jury : Christian Viard Gaudin (directeur de thèse), Harlod Mouchere (co-encadrant), Laurence Likforman Sulem (rapporteur, Telecom Paris Tech), Thierry Paquet (rapporteur, LITIS), Christophe Garcia (INSA Lyon)

Résumé : Véritable challenge scientifique, la reconnaissance d’expressions mathématiques manuscrites est un champ très attractif de la reconnaissance des formes débouchant sur des applications pratiques innovantes. En effet, le grand nombre de symboles (plus de 100) utilisés ainsi que la structure en 2 dimensions des expressions augmentent la difficulté de leur reconnaissance. Dans cette thèse, nous nous intéressons à la reconnaissance des expressions mathématiques manuscrites en-ligne en utilisant de façon innovante les réseaux de neurones récurrents profonds BLSTM avec CTC pour construire un système d’analyse basé sur la construction de graphes. Nous avons donc étendu la structure
linéaire des BLSTM à des structures d’arbres (Tree-Based BLSTM) permettant de couvrir les 2 dimensions du langage. Nous avons aussi proposé d’ajouter des contraintes de localisation dans la couche CTC pour adapter les décisions du réseau à l’échelle des traits de l’écriture, permettant une modélisation et une évaluation robustes. Le système proposé construit un graphe à partir des traits du tracé à reconnaître et de leurs relations spatiales. Plusieurs arbres sont dérivés de ce graphe puis étiquetés par notre Tree-Based BLSTM. Les arbres obtenus sont ensuite fusionnés pour construire un SLG (graphe étiqueté de traits) modélisant une expression 20. Une différence majeure par rapport aux systèmes traditionnels est l’absence des étapes explicites de segmentation et de reconnaissance des symboles isolés puis d’analyse de leurs relations spatiales, notre approche produit directement un graphe SLG. Notre système sans grammaire obtient des résultats comparables aux systèmes spécialisés de l’état de l’art.
Abstract : An appealing topic in pattern recognition, handwritten mathematical expression recognition exhibits a 9ig resarchchalle~gé ànd~pderpins
many practical applications: 86th a largùét of symbols ‘(mQrethan 100),an8 2~Dstfucturesincrè’a~e ttiè »difficuIIY?f this’recognitibn problem.
In this thesis, we focus on online handwritten mathematical expression recognition using Bl-STM,~nd CTCtopol9gy, and finally build a
graph-driven recognition system, bypassing the high time complexity and manual work in the classical grammar~arivei1 Systems: To ali? » » the 2-D structured language to be hai1dled by the sequenCe classifier, ‘Ne extflnd the chain-structured BLS1’M t08n original Tr~~~QasedBLSTM, which could label a tree structured data. The CTC layer is adapted with local constraints, to align the outputs and at the same. time benefit from introducing the addltlonal ‘blank’ class. The proposed system addresses therecognition task as a’waph building pr9blem. The input expression is a sequence of strokes, and then an intermediate graph is derivedponsidering temporal and sp~ti~1 relations among strokes. Next, several trees are derived from the graph and labeled with Tree-based BLSTM.,Jhe iast step is to merge \heselabeled trees to build an admissible stroke label graph (SLG) modeling 2-D formulas uniquely, One major difference wit~ thlf traditional approa~hes is that there is no explicit segmentation, recognition and layout e)(traction steps but a unique tralriable systElmthat producesdlrectly a SLG çlescribing a mathematical expression. The proposed system, without any grammar, achieyes competitive results,in online math expression recoqnition domain.