Image Enhancement and Restoration using Machine Learning Techniques

Digital cameras record, manipulate, and store information electronically through sensors and built-in computers, which makes photography more available to final users which do not anymore need to rely on the use of chemicals and knowledge of mechanical procedures to develop their pictures. Different types of degradation and artifacts can affect images acquired using digital cameras, decreasing the perceptual fidelity of images and making harder many image processing and analysis tasks that can be performed on the collected images. Three elements can be identified as possible sources of artifacts in an image: the scene content, the hardware limitations and flaws, and finally the operations performed by the digital camera processing pipeline itself, from acquisition to compression and storing. Some artifacts are not directly treated in the typical camera processing pipeline, such as the presence of haze or rain that can reduce visibility of the scene in the depicted images. These artifacts require the design of ad hoc methods that are usually applied as post-processing on the acquired images. Other types of artifacts are related to the imaging process and to the image processing pipeline implemented on board of digital cameras. These include sensor noise, undesirable color cast, poor contrast and compression artifacts. The objective of this thesis is the identification and design of new and more robust modules for image processing and restoration that can improve the quality of the acquired images, in particular in critical scenarios such as adverse weather conditions, poor light in the scene etc… . The artifacts identified are divided into two main groups: “in camera-generated artifacts" and “external artifacts and problems". In the first group it has been identified and addressed four main issues: sensor camera noise removal, automatic white balancing, automatic contrast enhancement and compression artifacts removal. The design process of the proposed solutions has considered efficiency aspects, due to the possibility of directly integrating them in future camera pipelines. The second group of artifacts are related to the presence of elements in the scene which may cause a degradation in terms of visual fidelity and/or usability of the images. In particular the focus is on artifacts induced by the presence of rain in the scene. The thesis, after a brief review of the digital camera processing pipeline, analyzes the different types of artifacts that can affect image quality, and describes the design of the proposed solutions. All the proposed approaches are based on machine learning techniques, such as Convolutional Neural Networks and Bayesian optimization procedure, and are experimentally validated on standard images datasets. The overall contributions of this thesis can be summarized in three points: integration of classical imaging approaches with machine learning optimization techniques, design of novel deep learning architectures and approaches and analysis and application of deep learning image processing algorithms in other computer vision tasks.

Le fotocamere digitali acquisiscono, manipolano e salvano in memoria informazioni elettronicamente tramite un sensore e unitá di calcolo integrate, rendendo la fotografia accessibile agli utenti finali i quali non necessitano di basi di conoscenza di chimica o delle specifiche operazioni meccaniche che erano necessarie per lo sviluppo con la fotografia analogica. Diversi tipi di degradazioni e artefatti possono affliggere le immagini acquisite tramite camere digitali, riducendo la fedeltà percepita delle immagini e rendendo piú difficili operazioni di visione artificiale che possono essere operate sulle immagini acquisite. Tre elementi possono essere identificati come possibili sorgenti di artefatti in un'immagine: il contenuto della scena, le limitazioni hardware della camera e la pipeline di elaborazione dell’immagine, dall’acquisizione al salvataggio in memoria. Alcuni artefatti non sono direttamente trattati all’interno della tipica pipeline di camera, come ad esempio la presenza di nebbia o pioggia che possono ridurre la visibilitá della scena acquisita. Questi artefatti , per essere trattati, necessitano di metodologie ad hoc che sono generalmente applicate come operazioni post-processing. Altri tipi di artefatti sono legati ai processi di elaborazione dell’immagine e all'intera pipeline di camera integrata nelle camere. Questi artefatti includono il rumore proveniente dal sensore, dominanti cromatiche indesiderate, basso contrasto e artefatti di compressione. L’obiettivo di questa tesi è l'identificazione e la progettazione di nuovi e piú robusti moduli di elaborazione e restauro dell’immagine capaci di migliorare la qualitá delle immagini acquisite dalle camere digitali, in particolare in scenari critici quali condizioni climatiche avverse, condizione di bassa illuminazione etc… Gli artefatti identificati sono divisi in due macro gruppi: “artefatti in-camera” e “artefatti esterni” Nel primo gruppo sono stati identificati e trattati quattro argomenti: la rimozione del rumore proveniente dal sensore della camera, il processo di bilanciamento automatico del bianco, il miglioramento automatico del contrasto e la rimozione di artefatti di compressione JPEG. Il processo di progettazione di questi moduli ha tenuto conto di aspetti di efficienza, in termini di calcolo e memoria occupata, in relazione alla possibilità di integrare tali moduli in future configurazioni di pipeline di camera. Il secondo gruppo di artefatti è legato alla presenza di elementi nella scena che possono causare una degradazione in termini di fedeltà dell’immagine e/o usabilità. In particolare il lavoro presentato nella tesi è focalizzato su artefatti provenienti dalla presenza di pioggia nella scena scattata. La tesi, dopo una descrizione della tipica pipeline di elaborazione delle camere digitali, analizza i diversi tipi di artefatti che possono affliggere la qualità di una immagine, e descrive la progettazione delle soluzioni proposte. Tutti gli approcci proposti sono basati su tecniche di apprendimento automatico, come ad esempio Reti Neurali Convoluzionali o procedure di ottimizzazione Bayesiana, e sono stati validati sperimentalmente su dataset standard. I contributi principali di questa tesi possono essere riassunti in tre punti: integrazione di approcci classici di imaging con tecniche di ottimizzazione basate su machine learning, progettazione e sviluppo di nuovi approcci e architetture di deep learning per il restauro e l'elaborazione di immagini e analisi di metodi di image processing basati su deep learning in task di computer vision.