The musical experience across perception and emotions: from music entrainment to multi-sensory integration

Music is a complex stimulus that can induce different reactions and influence both our body and mind. This work aimed to shed light on three different aspects of musical experience, going from neural to emotional, and from emotional to cognitive. When listening to a musical piece, one thing we may notice is the impulse to move to the beat. Entrainment theory describes the process of interaction between independent rhythmical processes. The perception of a beat in a complex auditory signal was found to be related to the emergence of a sustained periodic response in the EEG spectrum. With the first study, we propose a new method for analysing Auditory Steady State Response (ASSR) in naturalistic music, aiming at investigating neural entrainment and its relationship with emotions. We compared musical stimuli with regular and irregular timed sound onset and applied beat tagging analysis on an M/EEG dataset. To access the beat, we grouped sound onsets by two or four. Behavioural evaluations of musical pieces were correlated with the ASSR and inter-subject coherence (ISC) values, to investigate their association. For the regular, but not the irregular onset piece, both EEG ASSR and ISC peaked at the same frequency as the sound onset frequency. When grouping sound onsets, EEG ASSR showed frequency peaks as the sound onset frequency divided by two and by four. Correlating the neural data and the behavioural measures we found little evidence of a close link between the two. Therefore, it can be said that our behavioural results go toward a more complex emotion induction mechanism, in which entrainment is one of the many processes for evoking emotions. The following step investigated how the emotional content of music affects the perception of emotions experienced during artwork perception. We hypothesized that emotionally incongruent music would negatively affect the comprehension of the emotional content of artworks. ERP data showed that N170 response to visual art was influenced not only by sensory and attentional processes but also by stimulus emotional valence. Both visual Late Positivity (LP) and auditory N400 were modulated in amplitude by the emotional content of the musical stimulus. The multimodal Late Positivity (LP) was modulated by the stimulus emotional congruence, with larger responses to positive than negative congruent pairs, and to congruent than incongruent pairs. This may suggest a role of LP in indexing the degree of aesthetic pleasantness of the stimulation. An swLORETA source reconstruction applied to multimodal LP potentials showed that left MFG, left SFG, right precuneus, and right MTG were the most active brain areas during multimodal artistic simulation. Therefore, these areas possibly underpin the arising of aesthetic sensations, leading to the conclusion that auditory and visual emotional processing may share the same neural mechanisms. As a final step, we investigated both the capability of music and paintings to convey specific semantic meaning and the interaction across the two sensory modalities. Previous literature have shown that instrumental music can communicate iconic, indexical, and symbolic meanings, similar to language. This study aimed to investigate the effect of background music, semantically congruent or incongruent, on the semantic understanding of artworks. The hypothesis is that listening to incongruent background music would interfere with the semantic recognition of the visual stimulus. The data seem to suggest that both paintings and music can convey specific semantic meanings. Moreover, it was observed how interference in the semantic domain also occurred across sensory modalities, as shown in the modulation of the N400. Finally, these data strengthen the hypothesis of a bidirectional modulation between visual and auditory channels and that semantic interference is a general cognitive mechanism.

Questo lavoro si pone l’obiettivo di indagare tre aspetti dell’esperienza musicale, andando dal neurale all’emotivo e dall’emotivo al cognitivo. Quando ascoltiamo un brano musicale una delle cose che notiamo è la voglia di muoverci a ritmo. Le teorie sull’entrainment lo descrivono come l’interazione tra processi ritmici indipendenti. La percezione del ritmo all’interno di uno stimolo acustico è associata all’emergere di una risposta periodica nel tracciato EEG. Nel primo studio proponiamo un nuovo metodo per l’analisi delle Auditory Steady State Response (ASSR, risposte uditive evocate) in uno stimolo musicale, allo scopo di studiare l’entrainment neurale e come questo si colleghi alle emozioni. Abbiamo confrontato un brano musicale con una successione di suoni regolare ed uno con una successione irregolare, e applicato delle analisi di beat tagging su un dataset M/EEG. Per rilevare il beat abbiamo raggruppato i suoni in coppie e in quattro. Abbiamo quindi raffrontato le valutazioni comportamentali con i valori di ASSR e Inter-Subject Coherence (ISC, coerenza tra soggetti), per studiarne la relazione. I risultati hanno mostrato che per il brano con successioni di suoni regolari, ma non per quello con successioni irregolari, l'ASSR e l’ISC mostravano picchi nelle stesse frequenze di comparsa dei suoni. Allo stesso modo, quando raggruppati, l’ASSR mostravano picchi corrispondenti alla metà e al quarto delle frequenze di comparsa dei suoni. Le correlazioni tra i dati neurali e quelli comportamentali ci hanno dato pochi risultati circa la loro relazione. Per questo motivo crediamo che la musica induca emozioni attraverso meccanismi complessi, dove l’entrainment è solo uno dei fattori in gioco. Successivamente è stato indagato come il contenuto emotivo della musica sia influenzato dalla percezione delle emozioni suscitate dai quadri. Abbiamo ipotizzato che emozioni incongruenti tra i due stimoli avrebbero inficiato la comprensione emotiva del quadro. I dati ERP dimostrano che la N170 in risposta ai quadri è influenzata non solo da processi attentivi, ma anche dalla valenza emotiva del quadro. Per quanto riguarda la musica, sia la N400 che la late positivity (LP) sono modulate dal contenuto emotivo dello stimolo. La LP multimodale invece è modulata dalla congruenza emotiva tra gli stimoli, con risposte più ampie per stimoli positivi rispetto ai negativi. Questo suggerisce che la LP possa indicare il grado di piacevolezza estetica dello stimolo. La soluzione inversa swLORETA applicata alla LP multimodale, infine, ha evidenziato l’attivazione dei giri frontale medio e superiore di sinistra, del precuneo e del giro temporale medio di destra. Di conseguenza, queste aree potrebbero indicare la comparsa di una percezione estetica, portandoci alla conclusione che i processi emotivi visivo e uditivo condividano gli stessi substrati neurali. In conclusione, abbiamo indagato la capacità di musica e quadri di convogliare significati semantici specifici e l’interazione tra questi due tipi di stimoli. La letteratura ha mostrato che, così come il linguaggio, la musica è in grado di comunicare significati simbolici. Questo studio ha lo scopo di investigare l’effetto di una musica di sottofondo, semanticamente congruente o incongruente, sull’elaborazione semantica di un quadro. L’ipotesi è che ascoltare una musica incongruente interferisca con la comprensione semantica dello stimolo visivo. I risultati indicano come sia musica che quadri siano in grado di comunicare contenuti semantici specifici. Inoltre, così come accade per il linguaggio, la discrepanza tra i contenuti emotivi convogliati dalle diverse modalità sensoriali modula la componente N400. In ultimo, questi risultati rafforzano l’ipotesi di una influenza reciproca tra i canali uditivo e visivo e dell’interferenza semantica come meccanismo cognitivo che avviene anche tra diverse modalità sensoriali.