Évaluation des LLM pour la correction d'ontologies environnementales

Davide Di Pierro, Lylia Abrouk, Danai Symeonidou

Keywords: ontologie, LLM, évaluation

TL;DR: Dans cet article, nous présentons la capacité des LLM à identifier des axiomes qui résolvent des problèmes de modélisation et leur capacité à identifier des erreurs.

Abstract:

La construction d’ontologies représente une des tâches les plus pertinentes par rapport à l’ingénierie des connaissances aujourd’hui. L’essor des LLM a récemment amené la communauté à introduire des changements sur les pistes de modélisation des connaissances, alors que peu a été fait sur l’évaluation ou la correction assistée par les LLM. Bien que l’évaluation « dynamique » dans des contextes réels puisse être traitée à travers les tâches de l’apprentissage automatique, notamment la prédiction de lien, dans l’évaluation « statique » l’effort humain reste considérable.
Dans cet article, nous présentons la capacité des LLM à identifier des axiomes qui résolvent des problèmes de modélisation et leur capacité à identifier des erreurs. Nous faisons référence principalement aux métriques OOPS pour comparer les résultats. L’expérimentation inclut des ontologies de domaines similaires : biologie, environnement et médecine. Non seulement ils représentent des domaines d’intérêt, mais aussi nous envisageons que les grands modèles de langage disposeraient d’un contexte suffisant pour traiter ces sujets-là. Dans le cadre de ces thématiques, nous avons implémenté l’ontologie OntoPFAS, le sujet principal de l’expérimentation, et nous présentons ici une comparaison avec des ontologies de domaine comparables. Ce travail s’inscrit dans le cadre du projet interdisciplinaire DAE (Détection d’Anomalies Environnementales).

Email Sharing: We authorize the sharing of all author emails with Program Chairs.

Data Release: We authorize the release of our submission and author names to the public in the event of acceptance.

Submission Number: 6