Med-KAG, une approche de génération augmentée par connaissances : analyse des performances et limites de la récupération par embedding

Edouard HADDAG, Lina F. SOUALMIA, Gabriel H.A. MEDEIROS

Keywords: Graphe de connaissances, Génération augmentée par la récupération, RAG, PubMedQA, Qwen3, Aide à la décision clinique

TL;DR: L'étude teste Med-KAG, un système GraphRAG (UMLS) pour réduire les hallucinations médicales. Résultat : ses performances sur PubMedQA sont inférieures au modèle Qwen3, pointant des failles dans l'indexation et l'extraction des données.

Abstract:

L'adoption clinique des grands modèles de langue (LLM) est freinée par leur opacité et le risque d'hallucinations. Si la Génération Augmentée par la Récupération standard (Vector RAG) limite ces risques en sourçant l'information, elle souffre parfois d'une perte sémantique. Pour surmonter cette limite, cette étude explore l'approche GraphRAG. En structurant l'information via des graphes de connaissances, cette méthode préserve les relations complexes inhérentes au domaine biomédical, améliorant ainsi théoriquement la précision des modèles tout en réduisant les hallucinations.
Dans cette optique, nous présentons l'architecture Med-KAG, un nouvel assistant d'intelligence artificielle conçu pour fiabiliser la décision clinique en intégrant un graphe de connaissances basé sur l'UMLS au paradigme RAG. Bien que l'objectif initial soit de réduire les hallucinations factuelles, une évaluation préliminaire sur le jeu de données PubMedQA révèle que cette version enrichie obtient des performances inférieures au modèle de référence (Qwen3). Une analyse approfondie identifie le module de récupération et la structure même du graphe de connaissances comme les principales sources d'erreurs. Ces résultats mettent en évidence les défis critiques liés à la qualité de l'indexation et de l'extraction pour l'intégration réussie d'architectures de type GraphRAG en médecine.

Email Sharing: We authorize the sharing of all author emails with Program Chairs.

Data Release: We authorize the release of our submission and author names to the public in the event of acceptance.

Submission Number: 18