Automatic closed captioning: a study of strategies for televisual genre adaptation

Sous-titrage automatique : étude de stratégies d'adaptation aux genres télévisuels

François Buet (1) , François Yvon (1)

1 TLP - Traitement du Langage Parlé - LISN

Interest in automatic closed captioning systems has risen on account of legal obligations concerning accessibility and the sheer amount of audiovisual content being produced by multiple sources. Such systems usually proceed by coupling Automatic Speech Recognition (ASR) and Machine Translation (MT) from transcript to captions. The "translation" task consist of a simplification and segmentation of the text, which must observe norms with respect to display, while handling ASR errors. In the case of TV shows, both the initial audio stream and the target captions vary significantly in form and content according to the program. Taking inspiration in MT literature, this paper implements and compare televisual genre adaptation methods for closed captioning.

Les obligations légales concernant l'accessibilité des contenus audiovisuels conjuguées avec l'importance des volumes actuellement produits par diverses sources suscitent un intérêt croissant pour les systèmes de sous-titrage automatique. Traditionnellement, ces systèmes procèdent en enchaînant une étape de reconnaissance de la parole et une étape de « traduction » de la transcription vers les sous-titres. Pour le sous-titrage monolingue, la « traduction » correspond à une simplification et à une segmentation du texte, qui doivent notamment respecter des normes liées à l'affichage, et composer avec les erreurs issues de la reconnaissance vocale. Dans le cas des émissions télévisées, la forme et la teneur du flux audio initial comme des sous-titres à répliquer varient significativement selon les programmes. En prenant inspiration dans la littérature de la traduction automatique, cet article met en place et compare des méthodes d'adaptation aux genres télévisuels pour la production de sous-titres. MOTS-CLÉS : sous-titrage automatique, simplification de textes, traduction automatique.

Mots clés: automatic close captioning text simplification machine translation; automatic close captioning; text simplification; machine translation

Domaines: Traitement du texte et du document

François Buet, François Yvon. Sous-titrage automatique : étude de stratégies d'adaptation aux genres télévisuels. Revue TAL : traitement automatique des langues, 2022, Varia, 63 (1), pp.11-35. ⟨hal-03890594⟩