A feedback on adapting language models to the regional press: Knowledge does not mean skills!

Morgane Casanova, Amelie Knecht, Thomas GIRAULT, Victor Klötzer, Tanguy Launay, Pascale Sebillot, laurent amsaleg, Guillaume Gravier

Titre: Un retour d'expériences sur l'adaptation de modèles de langue à la presse régionale : connaissance n'est pas compétence !

Type Of Submission: Original Work / Travaux de recherche originaux

Keywords: language models, vocabulary adaptation, continued pre-training, knowledge acquisition, classification, named entities, information retrieval

Mots-cles: modèles de langue, adaptation de vocabulaire, pré-apprentissage continu, acquisition de connaissance, classification, entités nommées, recherche d’information

Abstract: We present a study on the adaptation of general language models (LM) to regional newspapers. In particular, we focus on the facts and relationships specific to newspapers learned during the adaptation of the LM and the impact on classic tasks. We analyze the consequences of vocabulary adaptation and We analyze the consequences of vocabulary adaptation and continued pre-training for two recent bidirectional models and highlight that these two steps make it possible to better capture the specificities of the newspaper and acquire knowledge. We then evaluate the impact on various canonical tasks and show that ML adaptation does not improve performance on our tasks, except in cases where the training data is very limited.

Resume:

Nous présentons une étude sur l'adaptation de modèles de langue (ML) généralistes à la presse régionale. En particulier, nous nous
intéressons aux faits et relations spécifiques au journal appris lors de l'adaptation du ML et à l'impact sur des tâches classiques. Nous analysons les conséquences de l'adaptation du vocabulaire et de la poursuite du pré-entraînement pour deux modèles bidirectionnels
récents et mettons en évidence que ces deux étapes permettent de mieux capturer les spécificités du journal et d'acquérir des
connaissances. Nous évaluons ensuite l'impact sur différentes tâches canoniques montrent que l'adaptation des ML n'améliore pas les performances sur nos tâches, en dehors du cas où les données d'apprentissage sont fortement limitées.

Submission Number: 49