Off the Hamster Wheel: Rethinking Dialogue Research through a Meta-Analysis of the ACL Anthology 2024

Amandine Decker, Maxime Amblard, Ellen Breitholtz

Titre: Sortir du Jour sans Fin : Repenser la Recherche sur le Dialogue à travers une méta-analyse de l'Anthologie ACL 2024

Type Of Submission: Recent Work Published in Major International Conference / Travaux publiés récemment dans les conférences majeures internationales

Keywords: Dialogue, Science of Science, Dailogue Generation, Dialogue Systems

Mots-cles: Dialogue, Méta-science, Génération de Dialogue, Systèmes de Dialogue

Abstract: In this paper, we adopt a meta-review approach to examine how conversation is currently studied in the NLP/CL field by analysing papers from the ACL Anthology 2024. We retrieved 407 papers — about 6.1\% of the papers published in the selected venues — and manually reviewed them to determine the conversational task, the corpora used, and the evaluation methods. Our analysis leads to several observations. First, dialogue systems represent about half of the papers while more formal and analytical approaches cover only 12\%. Second, many papers provide limited corpus descriptions, suggesting a growing detachment from the data which becomes a simple tool rather than a foundational pillars of NLP/CL application. Third, the evaluation methods — particularly for dialogue systems — frequently fail to capture interactional aspects of conversation or rely on assumptions unsupported by dialogue research. We argue for greater emphasis on formal analysis, richer evaluation practices, and clearer data descriptions.

Resume: Cet article propose une méta-revue des articles de l'ACL Anthology 2024 portant sur le dialogue. À l’aide d’une méthode de filtrage basée sur les titres, nous avons identifié 407 articles, soit environ 6,1\% des publications des conférences sélectionnées. Ces articles ont été examinés manuellement afin d’identifier la tâche conversationnelle étudiée, les corpus utilisés et les méthodes d’évaluation employées. Notre analyse met en évidence plusieurs tendances. D’une part, les systèmes de dialogue représentent environ la moitié des articles, tandis que les approches plus formelles ou analytiques ne constituent qu’environ 12\%. D’autre part, de nombreux travaux fournissent des descriptions très limitées des corpus, ce qui suggère un certain éloignement vis-à-vis des données. Enfin, les méthodes d’évaluation — notamment pour les systèmes de dialogue — prennent rarement en compte les aspects interactionnels de la conversation. Nous plaidons ainsi pour davantage d’analyse formelle, des pratiques d’évaluation plus riches et une documentation des données plus systématique.

Submission Number: 60