Prédiction ou perdition de liens : les graines de l'instabilité dans les plongements de graphes de connaissances

Guillaume Méroué, Fabien L. Gandon, Pierre Monnin

Keywords: Graines Aléatoires, Apprentissage Automatique, Complétion de Graphes de Connaissances

TL;DR: Les MPGC sont instables : ils produisent des prédictions et des espaces de plongement différents d’une exécution à l’autre, sans lien clair avec la performance, ce qui remet en cause la fiabilité des protocoles d’évaluation.

Abstract:

Les modèles de plongements de graphe de connaissance (MPGC) constituent une des principales approches de prédiction de liens pour la complétion de graphes de connaissances.
L'évaluation standard se concentre sur les métriques basées sur le rang de l'entité attendue, comme le MRR ou le Hits@$K$, mais néglige souvent l'influence des graines aléatoires sur la stabilité des résultats, masquant des instabilités potentielles dans les prédictions individuelles et l'organisation des espaces de plongement. Dans ce travail, nous menons une analyse systématique de la stabilité de plusieurs MPGC sur différents jeux de données. Nous constatons que les modèles performants produisent en réalité des prédictions divergentes au niveau des triplets et des espaces de plongement variables. En isolant les facteurs stochastiques (initialisation, ordre des triplets, échantillonnage négatif, \textit{dropout}, \textit{hardware}), nous montrons que chacun d'eux est suffisant pour induire une instabilité d'ampleur comparable. Par ailleurs, pour un modèle donné, les configurations d'hyperparamètres ayant un meilleur MRR ne garantissent pas plus de stabilité. Enfin, le vote, bien qu'étant un mécanisme de remédiation connu, n'apporte qu'une amélioration limitée à la stabilité. Ces conclusions soulignent les limites critiques des protocoles d'évaluation actuels et soulèvent des inquiétudes quant à la fiabilité des MPGC pour la complétion des graphes de connaissances.

Email Sharing: We authorize the sharing of all author emails with Program Chairs.

Data Release: We authorize the release of our submission and author names to the public in the event of acceptance.

Submission Number: 23