Sujet de thèse IFSTTAR

English version
Fiche détaillée :

Titre : Caractérisation fine de l’environnement transport par traitement d’images : contribution à la localisation multi-sources d’un véhicule autonome

Laboratoire principal - Référent principal   -

Directeur du laboratoire principal   -

Spécialité de la thèse traitement des images, vision par ordinateur

Axe 1 - COP2017 - Transporter efficacement et se déplacer en sécurité

Site principal Lille-Villeneuve d'Ascq

Etablissement d'inscription UNIVERSITE DES SCIENCES ET TECHNOLOGIE DE LILLE 1

Ecole doctorale SCIENCES POUR L'INGENIEUR (SPI)

Directeur de thèse prévu MARAIS Juliette  -  Université Gustave Eiffel  -  COSYS - LEOST

Co-directeur de thèse prévu EL BADAOUI EL NAJJAR Maan  -  Université de Lille  -  UMR CRISTAL

Type de financement prévu Contrat doctoral  - Ifsttar

Résumé

Le train autonome est un enjeu majeur pour les transports de demain. En Australie, l’entreprise minière Rio Tinto vient de réussir le pari d’un transport de marchandise avec un train autonome sur près de 100 kms, et ce sans conducteur. En France, la SNCF prévoit des premières expérimentations sur un train de marchandises dès 2019. Pour ce faire, le futur train autonome sera doté d’une multitude de capteurs et d’une intelligence associée. L’utilisation de capteurs optiques et de caméras fait déjà partie des équipements embarqués sur les véhicules autonomes, notamment pour la détection des objets mobiles, ou encore pour l’aide au stationnement. Mais ils sont également considérés dans le cadre du train du futur pour la détection de la signalisation le long des voies ou encore pour la détection d’obstacles : présence d’objets ou de personnes sur les voies. Même si nous voyons clairement l’apport de ce type de capteur pour les besoins de perception, il représente aussi une source d’information capitale pour alimenter la brique de géolocalisation incontournable pour le déploiement du futur train autonome.

Cette thèse s’inscrit dans ce contexte applicatif et vise à caractériser finement l’environnement transport par le développement de nouvelles techniques de traitement d’images. L’objectif est, in fine, de fournir une nouvelle source d’information sûre, extraite de l’image, et qui pourra être exploitée, tout comme celles issues des autres capteurs hétérogènes (lidar, odomètre, gyromètre, centrale inertielle, etc) dans un système de fusion multi-sources tolérantes aux fautes pour la géolocalisation continue et sûre d’un véhicule autonome. Durant cette thèse, nous chercherons à : i) Détecter et reconnaître des amers spécifiques. Pour cela, nous investiguerons les techniques d’apprentissage (profond) déjà utilisées pour la reconnaissance de panneaux de signalisation [Marmo 2006, IRT SystemX] et les techniques de mise en correspondance entre images réelles acquises par un mobile et celles issues d'une cartographie 3D [Adjrad 2015, Dawood 2016]. Nous nous intéresserons également aux techniques de reconnaissance basées sur les arbres [Nister 2006; Schindler 2007] en prenant soin de les adapter pour tenir compte de l'aspect temporel et des contraintes liées à notre application (changement brusque de luminosité, temps de traitement, variabilité des points d'intérêt); ii) Caractériser finement l’environnement acquis depuis le véhicule en développant de nouvelles méthodes de segmentation/classification couleur/texture adaptative à des fins d’outil de détection de défauts/fautes des autres capteurs [Meurie 2010; Marais 2014]. La littérature offre dans ce domaine, une classification des régions de l'image en deux classes "ciel" et "non-ciel" sans distinguer le type d'obstacle. Les développements envisagés et basés en partie sur une combinaison adaptative des informations de couleur et de texture permettront d'affiner la caractérisation des objets relevés (végétation, ciel, infrastructure, ...); iii) L'ajout d'un nouveau capteur dans le système global ne doit pas induire de nouvelles fautes et doit, de ce fait, fournir une information robuste. Pour ce faire, nous définirons des critères de qualité et indices de confiance de l’information fournie par l’approche de traitement d’images en vue de son intégration dans un système de fusion tolérante aux fautes [Al Hage 2015, Al Hage 2017]. Dans ce cadre, l’objectif consiste à développer des approches de fusion multi-sources basées sur les estimateurs/observateurs d’état avec une couche de détection et identification de défauts capteurs couplée avec une phase d’exploitation et de traitement des mesures, signaux ou observations issues de capteurs. L’exploitation de données avec une approche Top-Down (dites Information-Driven techniques) permet, en utilisant des métriques informationnelles, une sélection des données pertinentes et facilitent la distinction défaut/sans défaut. Une attention particulière dans ce travail sera consacrée à la conception de méthodes qui permettent non seulement la détection et l’isolation de défauts capteurs mais aussi l’identification de celui-ci afin de réinjecter la mesure corrigée dans la procédure de fusion multi-sources tolérante aux fautes pour la localisation.

La thèse sera co-encadrée par des chercheurs des équipes de l’Ifsttar et de CRIStAL UMR CNRS 9189. Les laboratoires DiCOT-CI2S de CRIStAL et COSYS-LEOST de l’IFSTTAR possèdent des plateformes multi-véhicules équipées de plusieurs caméras, capteurs optiques, récepteurs GNSS et autres capteurs de localisation. Le laboratoire DiCOT-CI2S de CRIStAL dispose d’une cartographie 3D de plusieurs sites expérimentaux sur le campus de Lille 1 et le laboratoire COSYS-LEOST de l’IFSTTAR de données images/vidéos de l’environnement transport (ferroviaire, routier) acquises dans différents projets. Une démarche de test et de validation des performances de l’approche développée durant la thèse avec des données réelles est donc prévue.

Ce sujet de thèse s’inscrit dans la continuité des travaux réalisés durant le COP de l’IFSTTAR [Marais 2015], aborde des briques de recherche qui seront développées dans le projet fédérateur mobilités & transitions numériques et s’inscrit dans un défi majeur pour le domaine des transports qu’est celui du développement du train autonome. Il constitue aussi une complémentarité aux travaux développés dans le cadre du projet ELSAT-SMARTIES (Smart, fail-safe communication and positioning system), et du projet européen ERSAT GGC. Enfin, il vise également à pérenniser et renforcer la collaboration naissante avec l’équipe DiCOT du groupe CI2S du laboratoire CRIStAL de l’Université de Lille 1, partenaire du projet ELSAT-SMARTIES.

La thèse abordera les disciplines du traitement des images, traitement du signal, fusion de données, localisation. Elle se déroulera à IFSTTAR-COSYS-LEOST (site de Lille Villeneuve d’Ascq) avec de fortes interactions avec l’équipe DiCOT du groupe CI2S du laboratoire CRIStAL de l’Université de Lille 1. Elle sera encadrée par C. Meurie (Chargé de Recherche à IFSTTAR-COSYS-LEOST) - cyril.meurie@ifsttar.fr - et co-dirigée par J. Marais (Chargée de Recherche HDR à l’IFSTTAR-COSYS-LEOST) – juliette.marais@ifsttar.fr - et M. El Badaoui El Najjar (Professeur des Universités à l’UMR CRIStAL / Université de Lille 1) - maan.e-elnajjar@univ_lille1.fr -. Une attention particulière sera apportée à la valorisation des résultats de cette thèse. Il est donc envisagé de publier les travaux de recherche dans trois conférences internationales dans le domaine du traitement d’images (ICIP, ICISP, ICIAP, MICCAI, ECCV) et/ou des systèmes de transports intelligents (ITSC, IV, ION) ainsi qu’à minima dans une revue internationale de rang A (IEEE on ITS, Transportation Research Part C, Experts Systems With Applications).

Profil du candidat : Titulaire d’un Master recherche ou équivalent, le(a) candidat(e) devra avoir de solides compétences en mathématiques, vision artificielle, traitement d’images et développement logiciel. Il (Elle) devra maitriser la programmation orientée objet (C++), le langage Python, et la bibliothèque OpenCv. Le(a) candidat(e) devra envoyer au format électronique : un CV détaillé, les notes et classement obtenus en Master (et cursus antérieur si possible), un avis motivé du responsable du Master sur votre candidature, une annexe scientifique qui sera établie après avoir pris contact avec les encadrants indiqués ci-dessus.

Références:
Railway sign detection and classification !!!!! Je ne vois pas l’intérêt de cette phrase!!
[Adjrad, 2015] Adjrad, M., & Groves, P. D. (2015). Enhancing Conventional GNSS Positioning with 3D Mapping without Accurate Prior Knowledge. ION GNSS+ 2015.
[Al Hage, 2015] Al Hage J., N. Aït Tmazirte, M. E. El Najjar and D. Pomorski, “Fault tolerant fusion approach based on information theory applied on GNSS localization” , In proc. of 18th international conference on information Fusion , Fusion 2015, Washington DC; 07/2015
[Al Hage, 2017] Al Hage J., Maan E. El Najjar “Improved Outdoor Localization Based on Weighted Kullback-Leibler Divergence for Measurements Diagnosis”, IEEE Intelligent Transportation Systems Magazine (à paraître).
[Dawood 2016] Maya Dawood, Cindy Cappelle, Maan E. El Najjar, Jing Peng, Mohamad Khalil, Denis Pomorski “Virtual 3D city model as a priori information source of vehicle ego-localization system”, Journal of Transportation Research Part C: Emerging Technologies, Elsevier Publisher 2016 (IF: 3.805).
[Marais, 2014] J. Marais, C. Meurie, D. Attia, Y. Ruichek, A. Flancquart, "Toward accurate localization in guided transport: combining GNSS data and imaging information", Transportation Research Part C: Emerging Technologies (5-Year IF 2011: 2.284), Vol. 43(2), pp. 188–197, June 2014
[Marais, 2015] J. Marais, D. Bétaille & al, Algorithmes embarqués de localisation outdoor pour les véhicules en milieu urbain et algorithme embarqué de fusion GNSS et carte numérique, Livrable du COP, décembre 2015
[Marmo, 2006] Marmo, R., Lombardi, L., Gagliardi, B., “Railway sign detection and classification », In proc. Of IEEE Intelligent Transportation Systems Conference, pp. 1358-1363, 2006
[Meurie, 2010] C. Meurie, Y. Ruichek, A. Cohen, J. Marais, "An hybrid an adaptive segmentation method using color and textural information", SPIE Electronic Imaging 2010 - Image Processing: Machine Vision Applications III, SPIE Vol. 7538, pp. 11, USA, January 2010.
[Nister, 2006] D. Nister, H. Stewenius, "Scalable recognition with a vocabulary tree", In proc. of International Conference on Computer Vision and Pattern Recognition, 2006.
[Schindler, 2007] G. Schindler, M. Brown and R. Szeliski., "City-Scale Location Recognition", In proc. of International Conference on Computer Vision and Pattern Recognition, 2007.

Mots-clefs: traitement des images, segmentation d'images, reconnaissance d'objet, traitement du signal, fusion de données multi-capteurs, localisation,

Laboratoire principal - Référent principal	-
Directeur du laboratoire principal	-
Spécialité de la thèse	traitement des images, vision par ordinateur
Axe	1 - COP2017 - Transporter efficacement et se déplacer en sécurité
Site principal	Lille-Villeneuve d'Ascq
Etablissement d'inscription	UNIVERSITE DES SCIENCES ET TECHNOLOGIE DE LILLE 1
Ecole doctorale	SCIENCES POUR L'INGENIEUR (SPI)
Directeur de thèse prévu	MARAIS Juliette - Université Gustave Eiffel - COSYS - LEOST
Co-directeur de thèse prévu	EL BADAOUI EL NAJJAR Maan - Université de Lille - UMR CRISTAL
Type de financement prévu	Contrat doctoral - Ifsttar
Résumé Le train autonome est un enjeu majeur pour les transports de demain. En Australie, l’entreprise minière Rio Tinto vient de réussir le pari d’un transport de marchandise avec un train autonome sur près de 100 kms, et ce sans conducteur. En France, la SNCF prévoit des premières expérimentations sur un train de marchandises dès 2019. Pour ce faire, le futur train autonome sera doté d’une multitude de capteurs et d’une intelligence associée. L’utilisation de capteurs optiques et de caméras fait déjà partie des équipements embarqués sur les véhicules autonomes, notamment pour la détection des objets mobiles, ou encore pour l’aide au stationnement. Mais ils sont également considérés dans le cadre du train du futur pour la détection de la signalisation le long des voies ou encore pour la détection d’obstacles : présence d’objets ou de personnes sur les voies. Même si nous voyons clairement l’apport de ce type de capteur pour les besoins de perception, il représente aussi une source d’information capitale pour alimenter la brique de géolocalisation incontournable pour le déploiement du futur train autonome. Cette thèse s’inscrit dans ce contexte applicatif et vise à caractériser finement l’environnement transport par le développement de nouvelles techniques de traitement d’images. L’objectif est, in fine, de fournir une nouvelle source d’information sûre, extraite de l’image, et qui pourra être exploitée, tout comme celles issues des autres capteurs hétérogènes (lidar, odomètre, gyromètre, centrale inertielle, etc) dans un système de fusion multi-sources tolérantes aux fautes pour la géolocalisation continue et sûre d’un véhicule autonome. Durant cette thèse, nous chercherons à : i) Détecter et reconnaître des amers spécifiques. Pour cela, nous investiguerons les techniques d’apprentissage (profond) déjà utilisées pour la reconnaissance de panneaux de signalisation [Marmo 2006, IRT SystemX] et les techniques de mise en correspondance entre images réelles acquises par un mobile et celles issues d'une cartographie 3D [Adjrad 2015, Dawood 2016]. Nous nous intéresserons également aux techniques de reconnaissance basées sur les arbres [Nister 2006; Schindler 2007] en prenant soin de les adapter pour tenir compte de l'aspect temporel et des contraintes liées à notre application (changement brusque de luminosité, temps de traitement, variabilité des points d'intérêt); ii) Caractériser finement l’environnement acquis depuis le véhicule en développant de nouvelles méthodes de segmentation/classification couleur/texture adaptative à des fins d’outil de détection de défauts/fautes des autres capteurs [Meurie 2010; Marais 2014]. La littérature offre dans ce domaine, une classification des régions de l'image en deux classes "ciel" et "non-ciel" sans distinguer le type d'obstacle. Les développements envisagés et basés en partie sur une combinaison adaptative des informations de couleur et de texture permettront d'affiner la caractérisation des objets relevés (végétation, ciel, infrastructure, ...); iii) L'ajout d'un nouveau capteur dans le système global ne doit pas induire de nouvelles fautes et doit, de ce fait, fournir une information robuste. Pour ce faire, nous définirons des critères de qualité et indices de confiance de l’information fournie par l’approche de traitement d’images en vue de son intégration dans un système de fusion tolérante aux fautes [Al Hage 2015, Al Hage 2017]. Dans ce cadre, l’objectif consiste à développer des approches de fusion multi-sources basées sur les estimateurs/observateurs d’état avec une couche de détection et identification de défauts capteurs couplée avec une phase d’exploitation et de traitement des mesures, signaux ou observations issues de capteurs. L’exploitation de données avec une approche Top-Down (dites Information-Driven techniques) permet, en utilisant des métriques informationnelles, une sélection des données pertinentes et facilitent la distinction défaut/sans défaut. Une attention particulière dans ce travail sera consacrée à la conception de méthodes qui permettent non seulement la détection et l’isolation de défauts capteurs mais aussi l’identification de celui-ci afin de réinjecter la mesure corrigée dans la procédure de fusion multi-sources tolérante aux fautes pour la localisation. La thèse sera co-encadrée par des chercheurs des équipes de l’Ifsttar et de CRIStAL UMR CNRS 9189. Les laboratoires DiCOT-CI2S de CRIStAL et COSYS-LEOST de l’IFSTTAR possèdent des plateformes multi-véhicules équipées de plusieurs caméras, capteurs optiques, récepteurs GNSS et autres capteurs de localisation. Le laboratoire DiCOT-CI2S de CRIStAL dispose d’une cartographie 3D de plusieurs sites expérimentaux sur le campus de Lille 1 et le laboratoire COSYS-LEOST de l’IFSTTAR de données images/vidéos de l’environnement transport (ferroviaire, routier) acquises dans différents projets. Une démarche de test et de validation des performances de l’approche développée durant la thèse avec des données réelles est donc prévue. Ce sujet de thèse s’inscrit dans la continuité des travaux réalisés durant le COP de l’IFSTTAR [Marais 2015], aborde des briques de recherche qui seront développées dans le projet fédérateur mobilités & transitions numériques et s’inscrit dans un défi majeur pour le domaine des transports qu’est celui du développement du train autonome. Il constitue aussi une complémentarité aux travaux développés dans le cadre du projet ELSAT-SMARTIES (Smart, fail-safe communication and positioning system), et du projet européen ERSAT GGC. Enfin, il vise également à pérenniser et renforcer la collaboration naissante avec l’équipe DiCOT du groupe CI2S du laboratoire CRIStAL de l’Université de Lille 1, partenaire du projet ELSAT-SMARTIES. La thèse abordera les disciplines du traitement des images, traitement du signal, fusion de données, localisation. Elle se déroulera à IFSTTAR-COSYS-LEOST (site de Lille Villeneuve d’Ascq) avec de fortes interactions avec l’équipe DiCOT du groupe CI2S du laboratoire CRIStAL de l’Université de Lille 1. Elle sera encadrée par C. Meurie (Chargé de Recherche à IFSTTAR-COSYS-LEOST) - cyril.meurie@ifsttar.fr - et co-dirigée par J. Marais (Chargée de Recherche HDR à l’IFSTTAR-COSYS-LEOST) – juliette.marais@ifsttar.fr - et M. El Badaoui El Najjar (Professeur des Universités à l’UMR CRIStAL / Université de Lille 1) - maan.e-elnajjar@univ_lille1.fr -. Une attention particulière sera apportée à la valorisation des résultats de cette thèse. Il est donc envisagé de publier les travaux de recherche dans trois conférences internationales dans le domaine du traitement d’images (ICIP, ICISP, ICIAP, MICCAI, ECCV) et/ou des systèmes de transports intelligents (ITSC, IV, ION) ainsi qu’à minima dans une revue internationale de rang A (IEEE on ITS, Transportation Research Part C, Experts Systems With Applications). Profil du candidat : Titulaire d’un Master recherche ou équivalent, le(a) candidat(e) devra avoir de solides compétences en mathématiques, vision artificielle, traitement d’images et développement logiciel. Il (Elle) devra maitriser la programmation orientée objet (C++), le langage Python, et la bibliothèque OpenCv. Le(a) candidat(e) devra envoyer au format électronique : un CV détaillé, les notes et classement obtenus en Master (et cursus antérieur si possible), un avis motivé du responsable du Master sur votre candidature, une annexe scientifique qui sera établie après avoir pris contact avec les encadrants indiqués ci-dessus. Références: Railway sign detection and classification !!!!! Je ne vois pas l’intérêt de cette phrase!! [Adjrad, 2015] Adjrad, M., & Groves, P. D. (2015). Enhancing Conventional GNSS Positioning with 3D Mapping without Accurate Prior Knowledge. ION GNSS+ 2015. [Al Hage, 2015] Al Hage J., N. Aït Tmazirte, M. E. El Najjar and D. Pomorski, “Fault tolerant fusion approach based on information theory applied on GNSS localization” , In proc. of 18th international conference on information Fusion , Fusion 2015, Washington DC; 07/2015 [Al Hage, 2017] Al Hage J., Maan E. El Najjar “Improved Outdoor Localization Based on Weighted Kullback-Leibler Divergence for Measurements Diagnosis”, IEEE Intelligent Transportation Systems Magazine (à paraître). [Dawood 2016] Maya Dawood, Cindy Cappelle, Maan E. El Najjar, Jing Peng, Mohamad Khalil, Denis Pomorski “Virtual 3D city model as a priori information source of vehicle ego-localization system”, Journal of Transportation Research Part C: Emerging Technologies, Elsevier Publisher 2016 (IF: 3.805). [Marais, 2014] J. Marais, C. Meurie, D. Attia, Y. Ruichek, A. Flancquart, "Toward accurate localization in guided transport: combining GNSS data and imaging information", Transportation Research Part C: Emerging Technologies (5-Year IF 2011: 2.284), Vol. 43(2), pp. 188–197, June 2014 [Marais, 2015] J. Marais, D. Bétaille & al, Algorithmes embarqués de localisation outdoor pour les véhicules en milieu urbain et algorithme embarqué de fusion GNSS et carte numérique, Livrable du COP, décembre 2015 [Marmo, 2006] Marmo, R., Lombardi, L., Gagliardi, B., “Railway sign detection and classification », In proc. Of IEEE Intelligent Transportation Systems Conference, pp. 1358-1363, 2006 [Meurie, 2010] C. Meurie, Y. Ruichek, A. Cohen, J. Marais, "An hybrid an adaptive segmentation method using color and textural information", SPIE Electronic Imaging 2010 - Image Processing: Machine Vision Applications III, SPIE Vol. 7538, pp. 11, USA, January 2010. [Nister, 2006] D. Nister, H. Stewenius, "Scalable recognition with a vocabulary tree", In proc. of International Conference on Computer Vision and Pattern Recognition, 2006. [Schindler, 2007] G. Schindler, M. Brown and R. Szeliski., "City-Scale Location Recognition", In proc. of International Conference on Computer Vision and Pattern Recognition, 2007.
Mots-clefs:	traitement des images, segmentation d'images, reconnaissance d'objet, traitement du signal, fusion de données multi-capteurs, localisation,

Liste des sujets

Candidatures fermées