Selon le sociologue Yann Ferguson, il faut prêter attention aux projets «vertueux» sur l’intelligence artificielle qui peuvent servir des objectifs contraires à l’éthique.
Des projets d’IA apparemment vertueux peuvent servir des objectifs contraires à l’éthique, notamment dans les services publics, avertit le sociologue Yann Ferguson, alors que l’algorithme anti-fraudes de la Caisse nationale d’allocations familiales (Cnaf) a mis en lumière des effets de bord des traitements des données.
« Exemple récent » décrit par l’expert en éthique de l’intelligence artificielle lors d’un colloque du think tank Impact AI cette semaine : une ville veut une IA capable de détecter des personnes qui chutent dans la rue, afin d’envoyer rapidement des secours. « Problème : un tel système peut aussi servir à repérer les SDF », a-t-il expliqué. « Quand on reconnaît quelqu’un qui reste allongé quelques secondes, on identifie également les SDF, qui font l’objet de discriminations. Donc, sans reconnaître individuellement les personnes, on peut repousser des personnes jugées indésirables par la société », relève-t-il.
Yann Ferguson a constaté ces dérives en tant que membre du comité éthique d’une start-up spécialiste du traitement par l’IA des vidéos captées par les caméras de vidéosurveillance. Son objectif : identifier non pas les gens - ce qui est interdit - mais les situations, ce que permet la loi sur les JO-2024. « Autre exemple, une collectivité qui veut qu’on reconnaisse les caravanes pour des raisons de fluidité du trafic. Mais quand une centaine de caravanes arrivent, ce n’est pas qu’une question de fluidité, c’est aussi l’arrivée de gens du voyage, une population extrêmement discriminée », souligne-t-il. « Et le PDG ne souhaite pas que sa technologie soit associée à cette discrimination ».
Plusieurs logiciels en ligne de mire
L’éthicien, également directeur scientifique de LaborIA, laboratoire sur l’impact de l’IA sur le travail créé par le ministère et l’Inria (Institut national de recherche en sciences et technologies du numérique), cite également parmi les usages éthiquement condamnables l’exemple d’une société qui voulait utiliser les données d’usage de ses salariés pour prédire lesquels allaient démissionner. Comment aussi veiller à l’éthique de possibles usages de ProNote, le logiciel utilisé par les lycées pour entrer les notes des élèves, s’interroge-t-il, sachant qu’utiliser l’IA pour analyser la situation des lycéens serait probablement très impopulaire ?
Yann Ferguson met aussi en garde contre certains systèmes automatisés d’aide au recrutement. « J’ai vu l’exemple d’une grande organisation publique avec un système d’aide au recrutement avec un ensemble de tests. Le fournisseur de cette solution préconisait que seuls ceux qui dépassent un score de 80 % aient un deuxième entretien », détaille-t-il. « Ce n’est pas ce qu’a fait l’organisation : le recruteur pouvait refuser une personne avec un score de 80 % et faire passer un autre qui n’avait que 50 %, en fonction de ce qu’il a ressenti durant l’entretien. Et le manager qui fait passer le deuxième entretien n’aura jamais accès à ce score », se félicite-t-il.
La question de l’usage de l’IA dans les services publics a fait polémique lorsque, fin novembre, la Cnaf a été critiquée pour l’utilisation d’un algorithme qui cible ses contrôles anti-fraudes. Selon l’association La Quadrature du Net, il met un « score de suspicion » plus élevé pour les personnes à revenus faibles, ce dont la Cnaf s’est défendue. Mercredi 6 décembre, le président du conseil départemental de Seine-Saint-Denis, Stéphane Troussel, a saisi la Défenseure des droits sur le caractère possiblement discriminatoire de cet algorithme.