Three Perspectives on Anomaly Detection in Deep Learning

Real-world applications of deep learning are rapidly growing, but so are the concerns on the fairness and safety of such models. Understanding what a deep model knows, while discarding what it is unsure about, represents a key step in reaching a more trustworthy AI. Towards this goal, anomaly detection strives to define scoring methods for input examples that distinguish normal, well-represented, instances from the ones that are rarely occurring, corrupted or out-of-distribution. Ranking instances is not only a way to allow users to discard untrustworthy inputs, but provides useful insights about the data itself. Indeed, since modern datasets are ever-growing, methods that perform automated data auditing such as anomaly detectors are of crucial importance. In this thesis, I will discuss three approaches related to anomaly detection in deep learning. First, I will introduce the Activation Pattern DAG (APD), a Directed Acyclic Graph (DAG) that summarizes the latent space's properties of Deep Neural Networks (DNNs). I will also show that the APD can be used to cluster input instances based on their similarity in the latent space. More in detail, the APD exploits DNNs’ activation patterns, a discrete representation of latent features resulting from the application of piecewise linear activations functions. Experiments show that the cluster size can be used to rank input instances by difficulty, allowing one to predict misclassified instances, but also to reduce the size of a dataset by identifying a meaningful subset of representatives. Second, I will present the Ensemble Adversarial Detector (ENAD), a new method for adversarial examples detection in Convolutional Neural Networks (CNNs), based on the idea of integrating score functions from state-of-the-art detectors. Results prove the goodness of its performances against state-of-the-art detectors, with both known and unknown adversarial attacks. Furthermore, ENAD allows for flexibility in the number of detectors in the ensemble, making it possible to incorporate newly introduced methods. Third, I will present a study investigating the behaviour of deep models on imbalanced data, by considering the uncertainty of the model and the complexity of data. I will discuss two case studies, one on predicting the binding affinity between T-cell Receptors (TCR) and epitopes, a recent and important application of deep learning in immunology, and a more standard task of image classification. In order to analyse the deep models, I selected three metics related to uncertainty estimation and anomaly detection. Moreover, I will discuss the use of data dimensionality estimation to detect imbalanced class complexities. Overall, these efforts provide three contributions to the broad and important area of anomaly detection in deep learning, which is recently gaining a lot of attention for its connections with generalization and safety. Three additional projects in computational biology are available in the appendix. They include a review on imputation and denoising methods for single-cell data, a classifier to predict cancer samples from the topological properties of metabolic networks, and a deep learning model to predict relative fluxes in reaction systems.

Il numero di applicazioni dell'apprendimento profondo sta rapidamente crescendo, ma allo stesso tempo aumentano anche le preoccupazioni sull’equità e la sicurezza di tali modelli di Intelligenza Artificiale (IA). Per rendere più affidabile l'IA, distinguere ciò che una rete neurale ha imparato da ciò che non ha compreso è fondamentale. Il processo di rilevamento delle anomalie classifica le istanze in input per distinguere quelle ben rappresentate nei dati da quelle che si verificano raramente, che sono corrotte o fuori dalla distribuzione attesa. Questo non solo aiuta gli utenti a scartare input non attendibili, ma fornisce utili informazioni sul dato stesso. Infatti, poiché le banche dati moderne sono in costante crescita, i metodi di revisione automatica dei dati come i rilevatori di anomalie sono di importanza cruciale. In questa tesi, discuterò tre approcci relativi al rilevamento di anomalie nell’apprendimento profondo. In primo luogo, introdurrò l’Activation Pattern Directed acyclic graph (APD), o grafo aciclico orientato dei pattern di attivazione, che riassume le proprietà dello spazio latente di una rete neurale profonda. L’APD sfrutta i pattern di attivazione delle reti neurali, che sono una rappresentazione discreta degli strati nascosti risultante dall'applicazione di funzioni di attivazione lineari a tratti, per raggruppare le istanze in input in base alla loro somiglianza nello spazio latente. Gli esperimenti dimostrano che la dimensione dei gruppi così ottenuti può essere utilizzata per classificare le istanze in ingresso in base alla loro difficoltà, consentendo di prevedere gli errori, ma anche di ridurre le dimensioni di una banca dati identificando un sottoinsieme significativo di rappresentanti. In secondo luogo, presenterò ENsemble Adversarial Detector (ENAD), o insieme di riconoscitori di esempi avversari. ENAD è un nuovo metodo per il rilevamento degli adversarial examples, o esempi avversari, in reti neurali convoluzionali basato sull'idea di integrare i valori in output di un insieme di rilevatori all’avanguardia. I risultati dimostrano un miglioramento delle prestazioni rispetto a rilevatori di ultima generazione, sia con attacchi avversari noti che sconosciuti. Inoltre, ENAD è definito per essere flessibile rispetto al numero di rilevatori che lo compongono, consentendo di estenderlo facilmente con nuovi rilevatori. Infine, presenterò uno studio che analizza il comportamento delle reti neurali profonde su dati sbilanciati, considerando l'incertezza del modello e la complessità dei dati. Discuterò due casi di studio, uno sulla previsione dell'affinità di legame tra recettori dei linfociti e antigeni, recente e importante applicazione dell’apprendimento profondo in immunologia, e un problema più standard di classificazione di immagini. Per analizzare le reti neurali, ho selezionato tre metriche relative alla stima dell'incertezza e al rilevamento delle anomalie. Inoltre, discuterò l'uso della stima della dimensionalità dei dati per quantificare la complessità delle classi sbilanciate. I tre lavori che ho introdotto andranno a contribuire all’importante area del rilevamento di anomalie nell’apprendimento profondo, che sta ottenendo molta attenzione per il suo legame con la sicurezza e la generalizzazione delle reti neurali. Infine, nell’appendice saranno introdotti tre lavori aggiuntivi di biologia computazione a cui ho collaborato. In particolare, ho contribuito a una revisione di metodi per la riduzione del rumore in dati di trascrittomica di cellule singole, un classificatore per identificare campioni di cancro attraverso le proprietà delle reti metaboliche e una rete neurale profonda per predire i flussi relativi nei sistemi reattivi.