Assessing psychometric scales through IRT-based modelling with application to COVID-19 data

A latent trait is an unobservable psychological attribute of an individual. A common way to measure it relies on the use of questionnaires, which collect person’s responses to test items and calculate a score representing the underlying latent trait. We analysed data collected among health care workers (HCWs) who faced COVID-19 pandemic and whose psychological wellbeing was evaluated through psychometric scales (GHQ-12, IES-r, GAD-7). Classical test theory (CTT) and item response theory (IRT) represent two different measurement frameworks. Starting from a series of clinical questions arising from a specific medical environment, objectives of this work were to explore the clinical implication of the tests’ outcome, performed through risk factor analysis for psychological impairment on a sample of 990 HCWs, and to evaluate the structure of the scales intended as measurement tools. We provided demonstration of the utility of IRT as compared with CTT-based method through the analysis of General Health Questionnaire – 12 (GHQ-12 questionnaire), a valid and reliable tool widely used to measure mental health. IRT-based techniques enable us to delve in several areas of interest of GHQ-12 questionnaire. Through the multidimensional version of IRT models we assess its dimensionality, finding that HCWs' psychological wellbeing was affected by general discomfort and stress together with a strong feeling of uselessness and inability to make decisions. Differential item functioning (DIF) detection performed with IRT investigated possible differences in responses between subjected directly or indirectly involved with COVID-19 patients and between workers enrolled before or after vaccination campaign, showing how their psychological status was affected by such circumstances. The discrete version of IRT (based on latent class analysis) allowed to determine how some response pattern may predict individual’s outcome of psychological wellbeing evaluation which consisted in three steps. Lastly, we explored the issue of atypical response pattern detection applying Forward Search algorithm to Rasch model.

In ambito psicometrico, un tratto latente è una caratteristica non osservabile di un individuo. Per misurare tale tratto si ricorre comunemente all’uso di questionari che attraverso le risposte ad una serie di domande produce un punteggio totale indicativo di tale tratto latente. Il punto di partenza di questo lavoro è stata l’analisi di dati raccolti tra operatori sanitari di un grosso ospedale di Milano che hanno affrontato la pandemia COVID-19 e il cui benessere psicologico è stato valutato attraverso scale validate (GHQ-12, IES-r, GAD-7). In questo contesto, la Teoria Classica dei Test (TCT) e l’Item Response Theory (IRT) rappresentano le due teorie principali per analizzare in modo opportuno test basati su questionari. In psicometria l’uso della TCT è molto diffuso, mentre l’IRT sta avendo un crescente utilizzo solo recentemente. Partendo da una serie di quesiti clinici nati all’interno del contesto sanitario in cui tale lavoro è stato svolto, abbiamo analizzato preliminarmente i dati relativi a questionari di 990 operatori sanitari arruolati tra Luglio 2020 e Luglio 2021 attraverso un’analisi dei fattori di rischio per la compromissione del benessere psicologico. Abbiamo poi analizzato le scale psicometriche intendendole come strumenti di misurazione di un tratto latente. Abbiamo mostrato l’utilità e i benefici della teoria IRT applicandola ad una delle scale somministrate nei questionari, la General Health Questionnaire-12 (GHQ-12), un test ampiamente usato per valutare la salute mentale di un individuo. Attraverso l’IRT abbiamo indagato tre principali aree di interesse. Tramite la versione multidimensionale dei modelli IRR abbiamo indagato la dimensionalità, mostrando che la salute mentale degli operatori sanitari è stata affetta principalmente da due fattori misurati dalla GHQ-12, che hanno impattato in modo diverso il benessere psicologico. Da un lato è emerso un chiaro e diffuso stato di stress e preoccupazione, dall’altro molti individui hanno provato una sensazione di non avere un ruolo utile tramite proprio lavoro e di non essere in grado di prendere decisioni. Tramite l’analisi del DIF (differential item functioning) abbiamo evidenziato le differenze nelle risposte al questionario in sottogruppi: tra chi ha lavorato direttamente o indirettamente a contatto con pazienti COVID-19 e tra chi è stato arruolato prima o dopo la campagna vaccinale. Attraverso la versione di modelli IRT basata su classi latenti abbiamo mostrato come certe tipologie di risposta riescono a prevedere l’esito finale dello screening psicologico dei soggetti, che prevede in tutto tre fasi. Infine, nell’ambito della statistica robusta, abbiamo proposto un algoritmo basato sul metodo forward search per l’individuazione di risposte atipiche nei questionari e lo abbiamo testato ad un caso particolare di modelli IRT, il modello di Rasch.