Enhancing Deep Learning Methods for Vehicle Localization

Accurate localization plays a crucial role in the operation of self-driving cars. Inaccurate pose estimates can undermine the reliability of subsequent actions, often leading to unrecoverable failures. However, commonly used sensors such as Global Navigation Satellite Systems (GNSSs) do not meet the reliability standards required by intelligent vehicles in urban areas, and several Deep Neural Network (DNN) based methods have emerged in recent years to address this issue. Despite the outstanding results achieved so far by localization techniques, some challenges remain unsolved and compromise the deployment of deep learning models in real scenarios. This thesis proposes techniques to address two main problems: providing more robust DNN models in challenging conditions and developing strategies to add robustness by detecting localization failures. Improving the reliability of autonomous driving systems is critical, especially given recent serious accidents involving human road users. To move towards more reliable deep learning localization systems, this thesis provides the following three contributions. Firstly, a 3D DNN that utilizes Light Detection and Ranging (LIDAR) data is proposed. This model covers the entire localization pipeline, including loop closure detection and point cloud registration, with a primary focus on the well-known issue of reverse loop detection. We chose to utilize LIDARs due to their reliability in accurately reconstructing the 3D navigation scene and their property of being invariant to lighting conditions. Secondly, we propose an uncertainty-aware method for global localization without any initial GNSS measurements. In particular, this approach enables the matching between a recorded LIDAR observation and a pre-built map of the navigation environment. Furthermore, thanks to the employment of a sampling-based uncertainty estimation method, the proposed DNN allows for the detection of localization failures. Thirdly, a local refinement localization approach is presented. Different techniques for estimating uncertainty are integrated into an existing pose regression Convolutional Neural Network (CNN), enabling direct estimation of vehicle position and orientation uncertainties. These estimates are then used in an Extended Kalman Filter (EKF) to mimic a realistic application scenario. The presented experimental activity is conducted on publicly available automotive datasets that depict urban scenarios, such as KITTI, Argoverse2, Robotcar, and Mulran, allowing the research community to perform future comparisons.

Localizzarsi accuratamente è cruciale per permettere il funzionamento delle auto a guida autonoma. Stime imprecise della posizione e dell’orientamento possono compromettere l'affidabilità delle azioni successive, portando spesso a guasti irrecuperabili. Tuttavia, i sensori comunemente utilizzati, come i sistemi globali di navigazione satellitare (GNSS), non soddisfano gli standard di precisione richiesti dai veicoli intelligenti nelle aree urbane, e negli ultimi anni sono emersi diversi metodi basati sulle reti neurali profonde (DNN) per affrontare questo problema. Nonostante gli straordinari risultati ottenuti finora dalle tecniche di localizzazione, alcune sfide rimangono irrisolte compromettendo l'impiego dei modelli di deep learning in scenari reali. Questa tesi propone tecniche per affrontare due problemi principali: fornire modelli DNN più robusti in condizioni difficili e sviluppare strategie per rilevare i fallimenti della localizzazione. Migliorare l'affidabilità dei sistemi di guida autonoma è fondamentale, soprattutto alla luce dei recenti gravi incidenti che hanno coinvolto utenti umani della strada. Per arrivare a sistemi affidabili di localizzazione basati su deep learning, questa tesi fornisce i seguenti tre contributi. In primo luogo, viene proposto una DNN 3D che utilizza i dati LIDAR (Light Detection and Ranging). Questo modello copre l'intera pipeline di localizzazione, comprendendo i task di rilevamento della chiusura del loop e la registrazione di nuvole di punti, con un'attenzione particolare al noto problema dei loop inversi. Abbiamo scelto di utilizzare i LIDAR per la loro affidabilità nella ricostruzione accurata della scena di navigazione 3D e per la loro proprietà di essere invarianti alle condizioni di illuminazione. Inoltre, proponiamo un metodo di stima dell'incertezza per la localizzazione globale senza misure GNSS iniziali. In particolare, questo approccio consente di trovare la corrispondenza tra un'osservazione LIDAR registrata e una mappa precostituita dell'ambiente di navigazione. Inoltre, grazie all'impiego di un metodo di stima dell'incertezza basato sul campionamento, la DNN proposta consente di rilevare i fallimenti della localizzazione. Infine, viene presentato un approccio di localizzazione a raffinamento locale. Diverse tecniche di stima dell'incertezza sono integrate in una rete neurale convoluzionale (CNN) esistente per la regressione della posa, consentendo la stima diretta delle incertezze di posizione e orientamento del veicolo. Queste stime vengono poi utilizzate in un Filtro di Kalman Esteso (EKF) per simulare uno scenario applicativo realistico. L'attività sperimentale presentata è stata condotta su set di dati automobilistici pubblicamente disponibili che raffigurano scenari urbani, come KITTI, Argoverse2, Robotcar e Mulran, consentendo alla comunità di ricerca di effettuare confronti futuri.