Decision-Theoretic Models for Information Retrieval

From a user's perspective, Information Retrieval (IR) constitutes a decision-making process. Users motivated by a specific situation engage in search activities to fulfil a related information need. Furthermore, it is common for users to assess the relevance of information items by considering both objective and subjective factors, such as topicality, domain expertise, recency, and others related to the characteristics of the search task. Consequently, there is a notable expectation for IR models to serve as intermediaries in this context and estimate the relevance score of information items by systematically quantifying and aggregating multiple relevance factors. Over the past few years, substantial research has been made into multidimensional relevance estimation, resulting in various proposed approaches. Nevertheless, it remains an ongoing research area with several unresolved issues and challenges. Motivated by this, in this dissertation, we introduce a Decision-theoretic Multidimensional Relevance Framework (DtMRF), a generalizable IR framework for multidimensional relevance estimation. The framework accounts for positive and negative factors, which are first identified based on the characteristics of a search task, then assessed, and subsequently aggregated to provide an overall relevance estimate of an information item to a considered information need. DtMRF leverages Multiple Attribute Decision-Making (MADM) methods to incorporate user, task, and domain factors in the retrieval process, overcoming the computational complexity limitations of data-driven approaches while offering interpretable rankings. Moreover, we propose Neural-DtMRF, a hybrid framework that leverages neural architectures and a few training data to enhance the functionalities and effectiveness of DtMRF. Specifically, through training, Neural-DtMRF learns the degree to which the considered relevance factors affect the overall relevance in a search task. To investigate the potential of DtMRF and Neural-DtMRF, we explored a search task within the medical domain, specifically the task of eligibility screening for clinical trials. Our empirical evaluation showed that DtMRF and Neural-DtMRF have enhanced retrieval effectiveness when contrasted with neural models like BERT. Furthermore, as model-driven approaches, both DtMRF and Neural-DtMRF provide rankings that users can comprehensively interpret, a valuable characteristic in professional search contexts. This interpretability feature facilitates informed decision-making and allows for further research and application of these models in complex medical information retrieval scenarios. Finally, we integrate Neural-DtMRF with Large Language Models (LLMs) to enhance patient eligibility assessment and improve retrieval performance for this specific task. In conjunction with the introduction of DtMRF and its neural extension, we address the challenging task of extracting patient-related information from unstructured medical summaries within Electronic Health Records (EHRs). Our investigation delves into the performance of domain-specific pre-trained language models (PLMs), such as BioBERT, and LLMs, like GPT-3.5, for information extraction and query formulation tasks. Regarding retrieval performance, queries generated by GPT-3.5 outperformed those formulated using the other approaches. Building on the acquired insights, we designed a conceptual framework tailored to clinical trials retrieval and developed a prototype system for its implementation. The system combines the strengths of GPT-3.5 for information extraction with Neural-DtMRF for multidimensional relevance estimation. The resulting retrieval system can identify relevant clinical trials and provide interpretable rankings, assisting medical professionals in making informed decisions.

Dal punto di vista dell'utente, l'Information Retrieval (IR) costituisce un processo decisionale. Gli utenti, motivati da una situazione specifica, intraprendono attività di ricerca per soddisfare un bisogno informativo correlato. Inoltre, è comune che gli utenti valutino la rilevanza degli elementi informativi considerando fattori sia oggettivi che soggettivi, come l'attualità, la competenza nel dominio, la ricorrenza e altri legati alle caratteristiche del compito di ricerca. Di conseguenza, c'è una notevole aspettativa che i modelli IR servano da intermediari in questo contesto e stimino il punteggio di rilevanza degli elementi informativi quantificando e aggregando sistematicamente più fattori di rilevanza. Negli ultimi anni sono state condotte ricerche sostanziali sulla stima della rilevanza multidimensionale, che hanno portato a diversi approcci proposti. Tuttavia, rimane un'area di ricerca in corso con diverse questioni e sfide irrisolte. Motivati da ciò, in questa tesi introduciamo un Decision-theoretic Multidimensional Relevance Framework (DtMRF), un framework IR generalizzabile per la stima della rilevanza multidimensionale. Il framework tiene conto di fattori positivi e negativi, che vengono prima identificati in base alle caratteristiche di un compito di ricerca, poi valutati e successivamente aggregati per fornire una stima complessiva della rilevanza di un elemento informativo rispetto a un bisogno informativo considerato. DtMRF sfrutta i metodi di Multiple Attribute Decision-Making (MADM) per incorporare i fattori dell'utente, del compito e del dominio nel processo di reperimento, superando i limiti di complessità computazionale degli approcci data-driven e offrendo al contempo classifiche interpretabili. Inoltre, proponiamo Neural-DtMRF, un framework ibrido che sfrutta architetture neurali e pochi dati di addestramento per migliorare le funzionalità e l'efficacia di DtMRF. In particolare, attraverso l'addestramento, Neural-DtMRF apprende il grado in cui i fattori di rilevanza considerati influenzano la rilevanza complessiva in un compito di ricerca. Per studiare il potenziale di DtMRF e Neural-DtMRF, abbiamo esplorato un compito di ricerca in ambito medico, in particolare il compito di screening dell'idoneità per gli studi clinici. Inoltre, in quanto approcci guidati da modelli, sia DtMRF che Neural-DtMRF forniscono classifiche che gli utenti possono interpretare in modo completo, una caratteristica preziosa in contesti di ricerca professionali. Questa caratteristica di interpretabilità facilita un processo decisionale informato e consente ulteriori ricerche e applicazioni di questi modelli in scenari complessi di recupero di informazioni mediche. Infine, integriamo i Neural-DtMRF con i Large Language Models (LLM) per migliorare la valutazione dell'idoneità dei pazienti e le prestazioni di recupero per questo compito specifico. In concomitanza con l'introduzione di DtMRF e della sua estensione neurale, affrontiamo il difficile compito di estrarre informazioni relative al paziente da riassunti medici non strutturati all'interno delle cartelle cliniche elettroniche (EHR). La nostra indagine analizza le prestazioni di modelli linguistici preaddestrati specifici per il dominio (PLM), come BioBERT, e di LLM, come GPT-3.5, per l'estrazione di informazioni e la formulazione di query. Per quanto riguarda le prestazioni di recupero, le query generate da GPT-3.5 hanno superato quelle formulate con gli altri approcci. Sulla base delle conoscenze acquisite, abbiamo progettato un quadro concettuale adatto al reperimento di studi clinici e sviluppato un prototipo di sistema per la sua implementazione. Il sistema combina i punti di forza di GPT-3.5 per l'estrazione delle informazioni con Neural-DtMRF per la stima della rilevanza multidimensionale. Il sistema di reperimento.