Génération de graphes de connaissances et fusion multimodale pour le raisonnement sur la collaboration : une approche hybride combinant réseaux neuronaux graphiques, modèles linguistiques et inférence logique

Nous nous dirigeons vers un monde dans lequel le développement de logiciels reposera de plus en plus sur la collaboration d'agents IA. Ce projet constitue la première étape vers l'établissement d'une collaboration efficace entre les humains et les agents IA. En menant une analyse approfondie de la collaboration en ligne au sein de grandes communautés, nous proposons d'utiliser un graphe de connaissances et des capacités de raisonnement pour améliorer la gestion des tâches, la découverte d'expertise, l'intégration des connaissances et la transparence de la gouvernance au sein des écosystèmes de logiciels libres (OSS). Dans un avenir proche, lorsque l'IA et les humains développeront ensemble des systèmes logiciels, cela permettra d'intégrer la responsabilité humaine dans le processus de développement.

Les référentiels de logiciels open source (OSS) prospèrent en tant que communautés dynamiques et décentralisées où les développeurs construisent, affinent et diffusent collectivement leurs connaissances. Ils offrent de grandes quantités d'informations semi-structurées permettant de construire un graphe de connaissances (KG) qui capture la collaboration ; pour permettre un raisonnement avancé, il est nécessaire de fusionner les modalités disparates en une représentation unifiée. La manière d'encoder tous les types d'informations (réseaux de conversation (interactions dans les problèmes/PR), texte non structuré  (commentaires, descriptions), structure du code, flux de tâches , etc.) et la fusion de ces sources d'informations hétérogènes constituent le principal axe de recherche de notre projet. L'état de l'art s'appuie sur des cadres de fusion multimodale [Li & Tang, 2025]), notamment des architectures neuronales basées sur des graphes [Liu et al., 2020] [Liu et al., 2023] [Wu et al., 2021] et les LLM [Yang et al., 2024] pour obtenir des graphes de connaissances holistiques, informatifs et exploitables qui permettent un raisonnement avancé.

Nous proposons un cadre hybride qui intègre les réseaux neuronaux graphiques (GNN), les grands modèles linguistiques (LLM) et l'inférence en langage naturel (NLI) pour construire des graphes de connaissances multimodaux à partir de données OSS. Notre approche fait progresser le domaine grâce à : 1) des techniques de fusion novatrices pour les données hétérogènes sans réentraînement complet, en particulier via des techniques d'assemblage de modèles ou d'injection de connaissances, y compris l'utilisation d'ontologies existantes [Smith et al., 2011] [Nundlall & Nagowah, 2022], 2) des méthodes basées sur la NLI pour déduire les relations causales à partir des conversations des développeurs et des relations entre les problèmes en tant que flux de travail, 3) des architectures évolutives pour un déploiement dans le monde réel, 4) la publication d'un benchmark public pour la détection des doublons et les relations causales entre les problèmes et 5) une évaluation empirique des performances (précision, coût, robustesse) sur des ensembles de données publics et des cas industriels (utilisation d'un multi-agent basé sur LLM (LLM-MA) pour la résolution de problèmes complexes et la simulation du monde [Guo et al., 2024]).