An eXplainable Recommender System for Course Creation in the Educational Platform “WhoTeach"

According to the World Economic Forum, by 2025 at least 50% of all employees will require significant re-skilling and up-skilling processes, aimed at increasing or updating the skills of the workforce. This need is definitively perceived by the companies stakeholders: according to Boston Consulting Group in 2019 , 67% of employees are likely to learn new skills in order to qualify for new positions or jobs, under any circumstances. Over the two last pandemic years, this trend grew stronger: in 2021 Boston Consulting Group reports that more than two-thirds of workers globally are willing to retrain for new jobs. In this overall scenario, teachers, trainers and experts, in any educational domain, need artificial intelligence based recommender systems able to support them in the creation of personalized courses and learning paths. Teachers require AI tools to get the right suggestions on the didactical resources to be selected and integrated into specific courses they have to create according to their requirements. Explainable approaches have the capability to allow teachers to understand the reason behind specific recommendations, thus improving their trust and collaboration with the system and, eventually, the creation of the courses. Then, my PhD project was aimed at designing, developing and evaluating an Explainable Recommender System solution for Educational Platforms, able to provide teachers with intelligent and explainable suggestions to support them in the creation of personalized online courses, in potentially any didactical community and environment. The proposed solution was aimed to improve and empower the educational platform “WhoTeach”, produced and commercialized by Social Things srl and conceived as a Social Intelligent Learning Management System. The project was primarily motivated by both company and market needs, as well as by an initial assessment of the platform, namely an experimentation activity to assess the level of usability and quality of interaction between users and a "demonstration prototype" recommender system in WhoTeach, resulting in a strong need to develop an explainable and empowered recommender system. Then, also taking into account the company needs to deliver a working prototype in a short time, we designed and developed a custom utility-based decision-tree recommender system; our solution is inherently explainable and able to manage different user preferences regarding the learning objects in WhoTeach. Thanks to the company, the system was integrated into the platform and experiments were performed to test it. Then, we realized the needed interface and visualizations, including both textual and visual explanations. Subsequently, we created an extended and adapted version of the UTAUT model to specifically assess the user’s perception of the system explainability, the users’ trust and interaction with the system and the system clarity and communicability in providing the recommendations. By using this method, we performed user-centered explainability evaluations with heterogeneous teachers. We also created a needs analysis questionnaire, also taking into account the many-year experience of the company in the educational technology field and the interest of its many clients and partners in the use of AI-based systems to create online courses. Based on a simplified version of this questionnaire, we created a user satisfaction questionnaire to perform a user satisfaction survey with teachers. Finally, we performed quantitative explainability evaluation tests of the recommender system to assess the level of explainability in an objective and quantitative way. To this aim, we exploited and adapted the mask-based metrics studied in the literature: such metrics allowed to collectively assess and evaluate the system explanations, confirming the overall level of explainability of our realized solution.

Secondo il World Economic Forum, entro il 2025 almeno il 50% dei lavoratori in ogni settore necessiterà di significativi processi di re-skilling e up-skilling, mirati ad aumentare o aggiornare le competenze della forza lavoro. In questo scenario complessivo, docenti, formatori ed esperti, in qualsiasi ambito educativo, necessitano di sistemi di raccomandazione, basati su intelligenza artificiale, in grado di supportarli nella creazione di corsi e percorsi di apprendimento personalizzati. I docenti hanno bisogno di tool che li aiutino a ottenere i giusti suggerimenti sulle risorse didattiche e il materiale formativo da selezionare e integrare all' interno di corsi specifici che devono creare in base alle loro esigenze. Il mio progetto di dottorato executive è stato quindi finalizzato alla progettazione, realizzazione e valutazione di un sistema di raccomandazione explainable per la didattica a distanza, in grado di fornire ai docenti o formatori dei suggerimenti intelligenti e adeguatamente motivati per accompagnarli nella creazione di corsi online personalizzati. Il nostro obiettivo specifico è stato quello di realizzare un sistema pronto per il mercato per supportare docenti o formatori, potenzialmente in qualsiasi comunità e ambiente didattico. La soluzione proposta è stata pensata per migliorare e potenziare la piattaforma di e-learning "WhoTeach", prodotta e commercializzata da Social Things srl e concepita come un Social Intelligent Learning Management System. Il progetto è stato motivato principalmente da esigenze aziendali e di mercato, oltre che da una prima valutazione della piattaforma, ovvero un'attività di sperimentazione per valutare il livello di usabilità e la qualità dell'interazione tra gli utenti e un "prototipo dimostrativo" di sistema di raccomandazione di WhoTeach, da cui è emersa la forte necessità di sviluppare un sistema di raccomandazione explainable e potenziato. Successivamente, tenendo conto anche delle esigenze dell'azienda di consegnare un prototipo funzionante in tempi brevi, è stato progettato e sviluppato un sistema di raccomandazione ad albero decisionale basato su una utility function personalizzata: la nostra soluzione è intrinsecamente spiegabile e in grado di gestire le diverse preferenze dei docenti riguardo ai learning object all'interno della piattaforma WhoTeach. Anche grazie all'intervento dell'azienda, il sistema è stato integrato nella piattaforma e sono stati effettuati i necessari esperimenti per testarlo. Quindi sono state realizzate l'interfaccia e le visualizzazioni necessarie, comprese le explanation testuali e visive. Successivamente, è stata creata una versione estesa e adattata del modello UTAUT per valutare in modo specifico la percezione dell'explainability del sistema da parte dell'utente, la fiducia e l'interazione degli utenti con il sistema e la chiarezza e comunicabilità del sistema nel fornire le raccomandazioni. Mediante questo metodo, sono state eseguite le necessarie valutazioni user-centered dell'explainability e dell'interazione tra utenti e sistema con docenti eterogenei. Inoltre, è stato creato un questionario per la needs analysis, tenendo anche conto dell'esperienza pluriennale della società nel campo delle tecnologie didattiche, oltre che delle manifestazioni di interesse dei suoi numerosi clienti e partner nei confronti di sistemi basati sull'intelligenza artificiale per la creazione di corsi online. Sulla base di unaversione semplificata di questo questionario, abbiamo creato un questionario di user satisfaction, così da valutare, mediante una survey mirata, la soddisfazione di docenti eterogenei. Infine, abbiamo eseguito una valutazione quantitativa dell'explainability del sistema di raccomandazione sfruttando e adattando le metriche di tipo mask-based studiate in letteratura: tali metriche hanno permesso di valutare le explanation fornite dal sistema, confermando il livello complessivo di explainability della nostra soluzione.