IRIT-MyFamilyUp system for the Odyssey 2024 Emotion Recognition Challenge

Premier système IRIT-MyFamillyUp pour la compétition sur la reconnaissance des émotions Odyssey 2024

Adrien Lafore , Clément Pagés , Leila Moudjari (1) , Sebastião Quintas (2, 3) , Isabelle Ferrané (2) , Hervé Bredin (2, 4, 5) , Thomas Pellegrini (2) , Farah Benamara (1) , Jérôme Bertrand , Marie-Françoise Bertrand , Véronique Moriceau (1, 6) , Jérôme Farinas (2, 4)

1 IRIT-MELODI - MEthodes et ingénierie des Langues, des Ontologies et du DIscours
2 IRIT-SAMoVA - Équipe Structuration, Analyse et MOdélisation de documents Vidéo et Audio
3 UT - Université de Toulouse
4 IRIT - Institut de recherche en informatique de Toulouse
5 CNRS - Centre National de la Recherche Scientifique
6 IUT Paul Sabatier - Institut Universitaire de Technologie - Paul Sabatier

In this paper, we present our contribution to emotion classification in speech as part of our participation in the Odyssey 2024 challenge. We propose a hybrid system that takes advantage of both audio signal information and semantic information from automatic transcriptions. The results show that adding semantic information allows surpassing systems based solely on audio.

Dans cet article, nous présentons notre contribution à la tâche de classification des émotions dans la parole dans le cadre de notre participation à la campagne d’évaluation Odyssey 2024. Nous proposons un système hybride qui tire parti à la fois des informations du signal audio et des informations sémantiques issues des transcriptions automatiques. Les résultats montrent que l’ajout de l’information sémantique permet de dépasser les systèmes uniquement audio.

Mots clés: Odyssey 2024 challenge; text and audio fusion; emotion modelling

Mots clés: modélisation des émotions; Compétition Odyssey 2024; fusion texte et audio

Domaines: Intelligence artificielle [cs.AI]; Traitement du signal et de l'image [eess.SP]; Traitement du texte et du document

Adrien Lafore, Clément Pagés, Leila Moudjari, Sebastião Quintas, Isabelle Ferrané, et al.. Premier système IRIT-MyFamillyUp pour la compétition sur la reconnaissance des émotions Odyssey 2024. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Université Toulouse 3 Paul Sabatier; Université Toulouse Jean Jaurès, Jul 2024, Toulouse, France. pp.502-511. ⟨hal-04594251⟩