Jumeau numérique généré par IA pour une formation immersive en chirurgie cardiaque

Les maladies cardiovasculaires restent la principale cause de mortalité dans le monde (OMS, 2019). En particulier, les maladies coronariennes nécessitent souvent un pontage aorto-coronarien, une intervention hautement technique qui requiert plus de 15 ans de formation et s'appuie sur des laboratoires humides, des simulateurs et l'observation directe en salle d'opération. Ces méthodes de formation traditionnelles souffrent d'une disponibilité, d'une reproductibilité et d'une interactivité limitées. Ce projet propose une rupture technologique et méthodologique pour surmonter ces limites, en s'appuyant sur la fertilisation croisée entre les technologies immersives (permettant des expériences de formation sûres, reproductibles et personnalisées [1]) et génératives (création de contenus visuels et artificiels personnalisés [2], [3], [4]) pour la chirurgie cardiaque. L'objectif est de concevoir un jumeau numérique génératif de la chirurgie cardiaque, capable de reconstruire [4], simuler [5], [6] et enrichir les interventions chirurgicales réelles pour une formation immersive et adaptative [7], [8]. À cette fin, l'ambition principale est de créer un environnement virtuel contrôlable généré à partir de données multimodales réelles (vidéos, profondeur, mouvement et son) combinées à une IA générative texte-3D [2], [9], [10]. Le système permettra aux stagiaires de visualiser, d'interagir et de répéter des gestes chirurgicaux dans une réalité étendue, tout en s'adaptant dynamiquement à l'expertise de l'utilisateur ou aux variations de scénario.

L'introduction de la modélisation générative pour transcender les limites des simulateurs artisanaux actuels et des expériences scriptées comporte plusieurs défis. Actuellement, l'utilisation de la réalité étendue (XR) en chirurgie cardiaque reste limitée aux jeux sérieux ou à la téléportation [1] en raison du manque de données publiques disponibles sur la chirurgie ouverte [8], [11]. Ensuite, les méthodes de vision par ordinateur et d'IA générative utilisées pour reconstruire et analyser des scènes 3D dynamiques peuvent être limitées par des contraintes telles que les tissus déformables, les occlusions et la variabilité de l'éclairage [6], [12], [13]. À cette fin, il s'appuiera sur les progrès récents en matière de représentations neuronales de scènes [9] et de rendu différentiable basé sur des points [13], en combinant des approches de modélisation implicites et explicites [3] avec une diffusion générative de texte vers 3D, afin de produire des environnements sémantiquement contrôlables et anatomiquement fidèles [2], [10], [14], [15]. À moyen terme, nous serons en mesure de générer automatiquement des scénarios réalistes et personnalisables à partir de suggestions textuelles et d'images, tout en tenant compte des contraintes précédentes [6].

Le projet implique plusieurs acteurs spécialisés dans (i) la vision par ordinateur et la RV/RA (ARMEDIA, SAMOVAR, Télécom SudParis) ; (ii) les modèles d'IA générative (SOP, SAMOVAR, Télécom SudParis) et (iii) la chirurgie cardiaque avec une expertise en XR (Pr. Patrick Nataf, INSERM). Par conséquent, une base de données du point de vue du chirurgien a déjà été partiellement acquise. Le doctorant étendra et optimisera le dispositif de capture, développera des pipelines de prétraitement et d'annotation (segmentation, résumé, description, ontologie médicale), affinera et mettra en œuvre des modèles génératifs pour la reconstruction et la synthèse de scènes, et développera un moteur de génération 3D multimodal basé sur des invites pour les scénarios chirurgicaux. Le résultat attendu est un simulateur de formation cardiaque basé sur l'IA et intégré aux infrastructures XR existantes de l'INSERM. Les différentes équipes ont été contactées par P. Spinga, ancien étudiant de Télécom SudParis, classé 16e sur 195 (1re année) et 8e sur 241 (2e année) et ancien ingénieur de recherche chez Dassault Systèmes - département Santé.

En conclusion, cette recherche vise à ouvrir la voie à un jumeau numérique complet de la chirurgie cardiaque, un compagnon cognitif et perceptif qui pourrait un jour assister les chirurgiens avant, pendant et après les interventions, transformant à la fois l'enseignement médical et l'avenir de la chirurgie elle-même [7].