Cadre pour la détection et l'atténuation des biais liés aux faibles ressources dans les modèles d'IA basés sur Transformer

Les modèles linguistiques modernes à grande échelle (LLM) sont de plus en plus utilisés dans les domaines de l'éducation [11, 2], de la santé [12], des systèmes de recommandation [5, 20] et dans d'autres domaines ; ils sont souvent utilisés par des utilisateurs ayant des compétences techniques limitées. Si cela démocratise l'accès à l'IA, de nombreuses recherches ont montré que ces modèles présentent des biais importants [7, 8, 13] qui varient selon les tâches [15, 18, 19] et les contextes culturels [1, 14]. Il existe des méthodes de détection et d'atténuation des biais [9], mais elles sont coûteuses en termes de calcul [4, 6, 9, 16], ce qui crée une fracture en matière d'équité. Si l'accès à l'IA est démocratisé, l'accès à l'équité et à la sécurité de l'IA ne l'est pas, car de nombreux utilisateurs d'IA ne disposent pas des ressources nécessaires pour évaluer et atténuer de manière exhaustive les biais.

Ce projet vise directement cette fracture en matière d'équité, avec pour objectif de développer des techniques d'évaluation et d'atténuation des biais à faible coût, utilisables par des organisations disposant de petits budgets, et contribue ainsi à la démocratisation de l'équité de l'IA. Nous définissons les ressources limitées non pas par la disponibilité des données pour une langue spécifique, mais par un ensemble de contraintes techniques : coût informatique minimal, accès minimal au modèle, modifications minimales du modèle et main-d'œuvre humaine minimale. Le caractère innovant de cette recherche réside dans l'accent mis sur les environnements à ressources limitées et dans le compromis à trois volets entre le coût de l'atténuation, la réduction des biais et la précision des tâches (une lacune dans la recherche actuelle). Ce projet permettra : i) de développer des méthodes d'évaluation de type « boîte noire » à faible coût, en les comparant à des alternatives plus coûteuses en termes de calcul, ii) de quantifier la courbe de performance par coût de calcul pour l'atténuation des biais dans différentes tâches, iii) d'identifier les compromis optimaux pour les techniques d'atténuation à faible coût.

Le résultat principal sera une boîte à outils d'équité à faibles ressources, fournissant aux utilisateurs de l'IA les outils nécessaires pour évaluer et atténuer les biais à faibles ressources dans leurs domaines d'application et leurs tâches. Nous nous concentrerons principalement sur les modèles de type « boîte noire », en utilisant à la fois des modèles commerciaux (qui représentent le scénario d'adoption de l'IA le plus courant) et des modèles à poids ouverts. Dans ce contexte, il n'y a pas d'accès aux états internes des modèles, ce qui constitue un obstacle important pour les audits d'IA [3]. Pour la détection des biais, nous cherchons à surmonter cet obstacle en nous inspirant de la psychométrie, en modélisant les biais observés comme des traits latents (analogues aux compétences dans la théorie de la réponse à l'item [10]) et en les mesurant à l'aide d'un test stratégique (analogue au test adaptatif informatisé [17]). Pour l'atténuation, nous nous concentrerons sur des méthodes sans formation, pouvant être mises en œuvre avant l'inférence (édition des entrées) ou après l'inférence (édition des sorties), dans le but de proposer une alternative légère aux techniques d'alignement coûteuses.

Une fois terminée, cette boîte à outils permettra aux utilisateurs d'IA d'évaluer la sécurité des modèles d'IA dans leurs domaines avec des ressources limitées, favorisant ainsi la démocratisation d'une IA sûre plutôt que d'une IA dangereuse.