Machine Learning Techniques for Urban Vehicle Localization

In this thesis, we present different approaches which dealt with the localization of a road vehicle in urban settings. In particular, we made use of machine learning techniques to process the images coming from onboard cameras of a vehicle. The developed systems aim at computing a pose and therefore in case of deep neural networks, they are referred to as pose regression networks. To the best of our knowledge, some of the developed approaches are the first deep neural networks in the literature capable of computing visual pose regression basing on 3D maps. Such 3D maps are usually built by means of LIDAR devices, and this is done from large specialized companies, which make the world of commercial map makers. It is therefore likely to expect a commercial development of very high definition maps, which will make it possible to use them for the localization of vehicles. From our contacts with industrial makers of autonomous driving systems for road vehicles, we know that LIDARs onboard the vehicles, as for today, are not well accepted, mainly because of the state-of-the-art of LIDARs, which are based on mechanical scanning systems and therefore are not capable of sustaining the accelerations and vibrations of a road vehicle. For this reason, as today's vehicles already include many cameras, to be able to visually localize a vehicle on high-definition maps is a very significant perspective, not only under a research point of view, but also for real applications. The localization is an essential task for any mobile robot, especially for self-driving cars, where a wrong position estimate might lead to accidents and even fatal injuries for other road users. We cannot rely only on Global Navigation Satellites Systems, such as the Global Positioning System, because the accuracy and reliability of these systems are often inadequate for autonomous driving applications. This is even truer in urban environments, where buildings may block or deflect the satellites' signals, leading to wrong localization. In this thesis, we propose different approaches to overcome the GNSSs limitations, exploiting state-of-the-art Deep Neural Networks (DNNs) and machine learning techniques. First, we propose a probabilistic approach for estimating in which lane the vehicle is driving. Secondly, we integrate state-of-the-art Convolutional Neural Networks for pixel-level semantic segmentation and geometric reconstruction within a localization pipeline. We localize the vehicle by matching high-level features (road geometry and buildings) from an onboard stereo camera rig, with their counterparts in the OpenStreetMap service. We handled the uncertainties in a probabilistic fashion using particle filtering. Afterward, we propose a novel end-to-end DNNs for vehicle localization in LiDAR-maps. Finally, we propose a novel DNN-based technique for localizing a vehicle in LiDAR-maps without any prior information about its position. All the approaches proposed in this thesis have been validated using well-known autonomous driving datasets, such as KITTI and RobotCar.

In questa tesi presento il mio lavoro di dottorato, che ha riguardato la localizzazione di un veicolo stradale in ambito urbano. In particolare, ho fatto uso di tecniche di Machine Learning per l'elaborazione delle immagini provenienti dalle camere a bordo di un veicolo. I sistemi sviluppati hanno lo scopo di produrre una stima della posa del veicolo e quindi, nel caso di deep neural networks, si tratta di reti che effettuano una pose regression. Al meglio della mia conoscenza, alcuni dei miei sviluppi sono i primi in letteratura in grado di effettuare visual pose regression basandosi su mappe tridimensionali. Queste mappe tridimensionali sono usualmente ottenute mediante dispositivi LIDAR da parte di grosse aziende specializzate che costituiscono il mondo delle aziende che producono mappe (HERE, TOM-TOM, etc.). Questo consente di attendersi uno sviluppo commerciale delle mappe ad altissima definizione, che risulteranno quindi utilizzabili per la localizzazione da parte del veicolo. Da nostri contatti con produttori industriali di sistemi di guida autonoma per veicoli stradali, ci risulta che la presenza di LIDAR a bordo dei veicoli sia a tutt'oggi osteggiata, in quanto non sono oggi disponibili LIDAR privi di apparati di scansione meccanica che risultano quindi inusabili a causa delle accelerazioni e vibrazioni presenti su un veicolo stradale. Per questo motivo, essendo inoltre i veicoli usualmente attrezzati di diverse camere già oggi, il fatto di riuscire a svolgere una localizzazione visuale su mappe ad alta definizione costituisce una prospettiva molto significativa, non solo sul piano della ricerca ma anche dell'applicazione. La localizzazione è un aspetto essenziale per ogni robot mobile, specialmente per veicoli stradali a guida autonoma, dove una cattiva stima di posizione può a portare ad incidenti anche fatali di utenti della strada. Non si può fare affidamento solo sui Global Navigation Satellite Systems, come il GPS, a causa della accuratezza e affidabilità di questi sistemi. che spesso non è adeguata per l'applicazione di guida autonoma. Questo è ancora più vero in ambiente urbano dove gli edifici possono bloccare o deflettere i segnali dei satelliti portando così a localizzazioni errate. In questa tesi proponiamo diversi approcci per superare le limitazioni dei sistemi GNNSs sfruttando Deep Neural Networks (DNNs) e altre tecniche di machine Learning Inizialmente proponiamo un approccio probabilistico per la stima della corsia in cui si trova il veicolo. Successivamente proponiamo un approccio che integra DNNs stato dell'arte, sia per la segmentazione semantica a livello di pixel che per la ricostruzione geometrica, all'interno di una pipeline di localizzazione. Il veicolo viene localizzato associando features di alto livello come la geometria della strada e gli edifici ottenute da camere stereoscopiche a bordo veicolo con le loro controparti in un sistema di mapping come Open Street Map. Abbiamo gestito le incertezze in modo probabilistico utilizzando particle filtering. Abbiamo anche proposto una nuova DNN end-to-end per la localizzazione visuale del veicolo in mappe LIDAR ad altissima definizione. Infine, abbiamo proposto una nuova tecnica, sempre basata su DNN, per la localizzazione del veicolo in mappe LIDAR ad altissima definizione che non richiede alcuna informazione a priori sulla sua posizione. Tutti gli approcci che sono stati proposti in questa tesi sono stati validati utilizzando ben noti dataset per la guida autonoma stradale, come KITTI e RobotCar.