Au-delà des métriques de base : le rôle crucial et souvent négligé des méta-métriques dans l’équité intersectionnelle

L’évaluation de l’équité est essentielle pour aligner les systèmes d’IA sur les valeurs normatives et sociétales. L’équité étant un concept éthique intrinsèquement controversé, elle est difficile à mesurer. Bien que la plupart des métriques d’équité aient été développées pour des contextes de classification binaire, les déploiements dans le monde réel exigent de prendre en compte les catégories sociales intersectionnelles [10]. Dans ces contextes, une étape de modélisation supplémentaire, souvent négligée, apparaît : l’agrégation des mesures au niveau des sous-groupes et des disparités entre plusieurs paires de groupes en un score synthétique unique. Cette étape nécessite de choisir une méta-mesure, et différents choix peuvent produire des évaluations de l’équité divergentes, voire contradictoires. Nous caractérisons l’espace de ces choix à l’aide d’une taxonomie en trois étapes qui rend explicites les hypothèses normatives et techniques inhérentes à la conception des méta-mesures. Nous montrons que différentes décisions de conception produisent des évaluations de l’équité sensiblement différentes, avec d’importantes conséquences éthiques, méthodologiques et pratiques. Nous soutenons donc que les choix d’agrégation doivent être explicitement justifiés et soigneusement alignés sur la conception sous-jacente de l’équité. Pour soutenir ce processus, nous proposons un cadre de critères et de lignes directrices pratiques pour une évaluation de l’équité fondée sur l’éthique, dans le but de favoriser une évaluation plus transparente et responsable des biais intersectionnels dans les systèmes d’IA.

Traduction réalisée avec l’intelligence artificielle.