AnalogiX : a corpus of annotated analogies in terms of structure and quality

Jérémie Roux, Hani Guenoune, Mathieu Lafourcade, Joël Maïzi, Philippe Langlais

Titre: AnalogiX : un corpus d’analogies annotées en structure et qualité

Type Of Submission: Original Work / Travaux de recherche originaux

Keywords: analogy, corpus, game with a purpose, knowledge base, large language model, relation, serious game, similarity

Mots-cles: analogie,base de connaissances,corpus,grand modèle de langue,similarité,relation,jeu avec un but,jeu sérieux

Abstract: Nous décrivons AnalogiX, un corpus de 5316 analogies de termes français provenant de personnes et de grands modèles de langue. Contrairement aux autres corpus d’analogies existants, celui-ci est annoté par des relations sémantiques entre les termes et présente des indicateurs de qualité pour chaque analogie. Nous décrivons aussi le jeu sérieux CompalogiX permettant à des joueurs de se prononcer sur la qualité des analogies. En nous basant sur 12865 parties, nous montrons que les personnes préfèrent les analogies mieux construites du point de vue des relations sémantiques intrinsèques.

Resume: We describe AnalogiX, a corpus of 5316 analogies between French terms produced by humans and large language models. Unlike existing analogy corpora, this one has the advantage of being annotated with semantic relations between terms as well as a quality indicator for each analogy.We also describe the serious game CompalogiX, which allows players to assess the quality of the proposed analogies. Based on 12865 games played, we show that humans prefer better-constructed analogies from the perspective of intrinsic semantic relations.

Submission Number: 12