The Many Facets of Hateful Content Detection: from Perspectivism to Bias

Hate Speech detection is a critical area of research aimed at identifying harmful and offensive content. However, the task is hindered by challenges related to perspectivism and bias, which compromise the efficacy and fairness of detection systems, especially in a real-case scenario. Perspectivism frequently emerges due to the subjective interpretation of what constitutes hate speech, which is influenced by cultural, linguistic, and contextual factors. On the other hand, Bias is frequently associated with a skewed distribution of specific elements in the datasets that will be used for training hate speech detection models. The thesis, focusing both on unimodal (text) and multimodal (memes) user-generated content, initially deals with perspectivism to model disagreement at different granularities, i.e., at constituent and instance levels. Subsequently, bias identification and mitigation are tackled by novel metrics and debiasing strategies. By addressing these challenges, this work aims to improve the reliability and fairness of hate speech detection systems, paving the way for more equitable content moderation strategies, able to capture multiple perspectives and interpretations.

Il rilevamento dei discorsi d'odio è un'area critica della ricerca che mira a identificare i contenuti dannosi e offensivi. Tuttavia, il compito è ostacolato da sfide legate al prospettivismo (perspectivism) e ai pregiudizi (bias), che compromettono l'efficacia e l'equità dei sistemi di rilevamento, soprattutto in uno scenario reale. Il prospettivismo emerge spesso a causa dell'interpretazione soggettiva di ciò che costituisce un contenuto d'odio, influenzato da fattori culturali, linguistici e contestuali. D'altro canto, il bias è spesso associato a una distribuzione distorta di elementi specifici negli insiemi di dati che verranno utilizzati per addestrare i modelli di rilevamento dei contenuti d'odio. La tesi, che si concentra su contenuti generati dagli utenti sia unimodali (testo) che multimodali (meme), tratta inizialmente il perspettivismo per modellare il disaccordo a diverse granularità, cioè a livello di costituente e di istanza. Successivamente, l'identificazione e la mitigazione dei bias vengono affrontate con nuove metriche e strategie di debiasing. Affrontando queste sfide, questo lavoro mira a migliorare l'affidabilità e l'equità dei sistemi di rilevamento dei discorsi d'odio, aprendo la strada a strategie di moderazione dei contenuti più eque, in grado di cogliere prospettive e interpretazioni multiple.