Empowering Linguistic Skills with Innovative User Interfaces: the Impact of Non-Linguistic Predictors, Mixed Reality and Tangible Interaction

This dissertation investigates the effectiveness of technologically based new paradigms for the identification and treatment of language deficits. It focuses on Developmental Language Disorder (DLD) and Developmental Dyslexia (DD) and it revolves around the intersection of applied linguistics, psychology, and technology to develop strategies and smart digital technologies supporting individuals with language disorders. By following a User-Centered Approach and Design-Based Research (DBR) as recently discussed in the field of Human-Computer Interaction (HCI), we present three projects developing smart digital technologies for identifying and treating language disorders. The first project, called MARS, is a web-based application for assessing DLD in children through rhythmic anticipation tasks, a novel approach to language disorders assessment. It employs machine learning and information technology to analyze vocal responses and offers a potentially impactful addition to traditional assessment methods. The second project, called Jupiter, develops a Mixed Reality app designed for Microsoft HoloLens 2. It addresses late diagnoses of developmental dyslexia in adults and integrates studies on language disorders with Mixed Reality technology to explore anticipatory skills linked to movement. The third project, called Moovy, developed a Tangible User Interface (TUI) for training children's linguistic skills, specifically targeting morphosyntactic constructs. Moovy employs the Argument Acting Paradigm, translating grammatical concepts into tangible, physical actions through a tabletop game. In conclusion, this dissertation aims to highlight the importance of interdisciplinary collaboration, technological innovation, and Design-Based Research in addressing language disorders. It contributes theoretically and technologically to the field, offering potential solutions and insights for early diagnosis and effective interventions in children with language disorders.

Questa tesi indaga l'efficacia di nuovi paradigmi basati sulla tecnologia per l'identificazione e il trattamento dei deficit linguistici. Si concentra sul Disturbo Specifico del Linguaggio (DSL) e sulla Dislessia Evolutiva (DE) e si basa sull'intersezione tra linguistica applicata, psicologia e tecnologia per sviluppare strategie e tecnologie digitali intelligenti a supporto di individui con disturbi del linguaggio. Seguendo un user-centered approach e una ricerca Design-Based (DBR), come recentemente discusso nel campo dell'Human-Computer Interaction (HCI), presentiamo tre progetti che sviluppano tecnologie digitali intelligenti per identificare e trattare i disturbi del linguaggio. Il primo progetto, chiamato MARS, è un'applicazione web per valutare il DSL nei bambini attraverso compiti di anticipazione ritmica, un nuovo approccio alla valutazione dei disturbi del linguaggio. Impiega l'apprendimento automatico e la tecnologia dell'informazione per analizzare le risposte vocali e offre un'aggiunta potenzialmente impattante ai metodi di valutazione tradizionali. Il secondo progetto, chiamato Jupiter, sviluppa un'app di Realtà Mista progettata per Microsoft HoloLens 2. Affronta le diagnosi tardive di dislessia evolutiva negli adulti e integra studi sui disturbi del linguaggio con la tecnologia di Realtà Mista per esplorare abilità anticipatorie legate al movimento. Il terzo progetto, chiamato Moovy, ha sviluppato un' Interfaccia Utente Tangibile (TUI) per allenare le competenze linguistiche dei bambini, mirando specificamente a costrutti morfosintattici. Moovy impiega l'Argument Acting Paradigm, traducendo concetti grammaticali in azioni fisiche tangibili attraverso un gioco da tavolo. In conclusione, questa dissertazione mira a evidenziare l'importanza della collaborazione interdisciplinare, dell'innovazione tecnologica e della ricerca Design-Based nell'affrontare i disturbi del linguaggio. Contribuisce teoricamente e tecnologicamente al campo, offrendo soluzioni potenziali e intuizioni per una diagnosi precoce e interventi efficaci nei bambini con disturbi del linguaggio.