C’est en 2016 que María Pérez-Ortiz a réalisé à quel point l’intelligence artificielle pouvait être dangereuse. Depuis 2011, elle travaillait avec des hôpitaux espagnols pour produire un modèle d’apprentissage automatique qui aiderait les médecins à décider quels patients prioriser sur la liste des greffes de foie. L’idée était de construire un modèle plus complet qui prendrait en compte non seulement le processus décisionnel existant des médecins, mais prédirait aussi la compatibilité entre l’organe et le patient, afin de réduire les risques de rejet de greffe par le corps.

En 2014, le projet s’est terminé et les médecins ont commencé à utiliser le modèle dans les hôpitaux. Il prédisait la compatibilité de manière beaucoup plus juste que les systèmes précédents et l’équipe était convaincue que cela entraînerait une baisse du nombre d’échecs de greffes, sauvant ainsi plus de vies. Puis María Pérez-Ortiz et ses collègues ont obtenu de nouveaux postes. Mais deux ans plus tard, les médecins sont revenus vers eux, confus. Ils s’étaient rendu compte que le modèle n’attribuait pratiquement aucune greffe à des femmes.

“J’ai été choquée d’avoir participé à la création de ce système”, a-t-elle déclaré. Son équipe s’est penchée sur la question et s’est rendu compte que les données utilisées pour construire le modèle étaient considérablement biaisées à l’encontre des femmes. Des dizaines d’années d’études scientifiques n’avaient pas remarqué que les biomarqueurs impliqués dans les greffes d’organes étaient différents pour les femmes et les hommes. En effet, la plupart des essais cliniques sur le sujet n’avaient pas du tout inclus de femmes.

“C’est à ce moment-là que j’ai réalisé que l’IA n’est qu’un microcosme qui reflète le monde” a expliqué la chercheuse. “Dans ce cas, elle a reproduit, voire exacerbé, les préjugés qui existaient déjà… Ma formation ne m’avait jamais préparée à ça. » Elle a fini par consacrer sa carrière à étudier le potentiel éthique et durable de l’IA.

Aujourd’hui, l’idée selon laquelle l’IA reproduit et amplifie souvent les inégalités en tous genres est de plus en plus répandue. Et au cours des derniers mois, de nombreuses nouvelles études ont été menées sur la question.

Voici La Preuve

Les grands modèles de langage largement utilisés, notamment GPT-3.5 d’Open AI et Llama 2 de META, montrent “des preuves sans équivoque de préjugés à l’égard des femmes”, selon un récent rapport de l’UNESCO dont María Pérez-Ortiz était co-autrice. Les prénoms féminins étaient associés au “foyer”, à la “famille”, aux “enfants” et au “mariage” ; tandis que les noms masculins étaient associés à “entreprise”, “cadre”, “salaire” et “carrière”.

D’autres études ont montré des biais tout aussi importants dans des lettres de motivation, les articles journalistiques et les conseils de santé générés par l’IA. Le même problème est évident dans les modèles qui créent des images générées par l’IA à partir de prompts (instructions) écrites. Et bien sûr, cela ne concerne pas que le sexisme : des études ont également mis en évidence le racisme, le validisme et d’autres formes de discrimination dans l’IA.

Les modèles d’IA sont entrainés sur des données biaisées – qu’il s’agisse de textes ou d’images récupérés sur Internet, ou d’études évaluées par des pair·es qui ont historiquement traité les hommes blancs par défaut (pour en savoir plus, lisez l’excellent livre de Caroline Criado Perez, Femmes Invisibles). Tout cela est déjà problématique en soi, mais pour aggraver les choses, les IA amplifient souvent ce biais.

Les conséquences pourraient être énormes : les systèmes d’IA sont déjà utilisés pour rédiger des articles de presse, des lettres de recommandation, pour décider qui sera embauché·e, qui verra quelles publicités et pour aider à prendre des décisions de vie ou de mort au sein des systèmes médicaux et judiciaires. Ces systèmes ont le potentiel de faire du bien, mais leur pouvoir d’enraciner profondément les inégalités est alarmant. Et si des entreprises s’efforcent de résoudre ces problèmes, les progrès sont lents et souvent controversés : au Kenya, les équipes de modération humaines embauchées pour examiner le contenu utilisé par OpenAI se sont plaintes de traumatismes psychologiques et de mauvaises conditions de travail.

En plus de nous interroger sur la nature des données sur lesquelles reposent ces modèles, nous devons également réfléchir à l’importance des préjugés inconscients de celles et ceux qui les construisent. Il est crucial que les personnes qui conçoivent, construisent, déploient et réglementent l’IA soient représentatives de la population dans son ensemble. Il est donc inquiétant de constater que bon nombre des plus grandes entreprises de la tech suppriment leurs programmes de diversité, d’égalité et d’inclusion.

En 2018, 22 % des personnes travaillant dans le domaine de l’IA étaient des femmes. Les femmes connaissent également un manque de reconnaissance et d’évolution de carrière par rapport aux hommes dans ce domaine. Les entreprises dirigées par des femmes sont rares : une étude récente a révélé qu’au Royaume-Uni, seulement 2 % des investissements en capital étaient destinés à des entreprises fondées par des femmes. Beaucoup plus d’hommes étudient le sujet dans le monde universitaire. Et les femmes sont plus susceptibles de réfléchir aux implications sociétales, éthiques et politiques de l’IA.

Dans l’état actuel des choses, beaucoup plus de femmes que d’hommes perdront leur emploi à cause de l’IA. Dans les pays à revenu élevé, plus du double (7,8 %) de femmes que d’hommes (2,9 %) ont un métier qui risque d’être automatisé. Cela ne prend même pas en compte les effets plus subtils des modèles de recrutement basés sur l’IA qui défavorisent les femmes. D’autres études ont soulevé des inquiétudes sur le fait que les femmes prennent du retard sur leurs homologues masculins au travail parce qu’elles n’utilisent pas autant l’IA dans leurs fonctions. (Peut-être en partie parce qu’elles se méfient de cette technologie, ce qui semble être un cruel coup du sort.)

À la recherche de points positifs face à tout cela, j’ai parlé à six expert·es pour voir quel espoir elles et ils ont de pouvoir éviter un monde dans lequel l’IA aggrave encore les inégalités entre les genres.

“Tout dépend de nous”

Toutes les personnes que j’ai interviewées ont souligné que derrière les chatbots, les générateurs d’images et les systèmes d’apprentissage automatique se cachent des êtres humains. L’IA est formée, nourrie et conçue par des personnes. Cette technologie (comme toutes les autres) n’est donc ni neutre, ni apolitique.

À ce titre, toutes et tous ont convenu que si elle est conçue et déployée avec précaution, l’IA a un grand potentiel en tant qu’outil d’empouvoirement : réduire les corvées et le manque de temps ; améliorer la santé pour toutes et tous ; lutter contre le changement climatique et la destruction de l’environnement.

Mais est-ce la trajectoire actuelle ? Bhargav Srinivasa Desikan, l’un des chercheurs qui ont étudié les pertes d’emplois liées à l’IA, m’a dit : “Si nous traitons l’IA comme nous avons traité toutes les grandes technologies du siècle dernier, alors je ne suis pas trop optimiste. Regardez simplement ce qui s’est passé avec les réseaux sociaux. Ceci étant dit, l’avenir ne s’écrit pas sans notre contrôle.”

Revi Sterling, directrice de l’inclusion numérique chez CARE, a exprimé des réserves similaires. Le problème est que “la plupart des IA ne sont pas conçues pour les usager·e·s ou les femmes”, a-t-elle déclaré. « Ils sont commerciaux, ils sont conçus pour économiser 1% dans le secteur manufacturier, dans le secteur bancaire et dans le commerce. »

“Dans le monde de l’IA, la personne qui possède les données a le pouvoir”, a déclaré Kutoma Wakunuma, codirectrice du Centre d’informatique et de responsabilité sociale de l’Université De Montfort. “Les données sont le nouveau pétrole. Et tout cela est concentré entre quelques mains : les grandes entreprises technologiques du Nord économique.”

Le problème ici est donc avant tout politique et économique, et non technologique. Reconnaître cela est crucial et peut nous redonner du pouvoir. Bon nombre des expert·e·s avec qui j’ai parlé ont été encouragé·e·s par les discussions que nous avons déjà sur les préjugés dans l’IA.

« Reconnaître les problèmes est la première étape », a déclaré Yixin Wan, chercheuse en doctorat qui a publié une analyse des biais dans les modèles texte-image. “Mais je pense que nous devons étendre la portée de l’analyse à une définition plus large du genre, incluant les groupes queer, et améliorer la compréhension géoculturelle des modèles. Parce qu’à l’heure actuelle, ils sont majoritairement occidentaux.”

Erin Young, qui a publié une étude sur le manque d’investissement dans les start-ups dirigées par des femmes, a déclaré : “Tant que nous – et par nous, je veux dire tout le monde – faisons attention à cela, nous pouvons travailler sur des moyens d’atténuer ces préjugés codés.”

María Pérez-Ortiz est d’accord : “Tout dépend de nous. Ce sont les humains qui dictent quels modèles d’IA sont construits et quels sujets de recherche sont explorés dans ce domaine.”

Les études du mois

Voici les études qui font parler d’elles dans la recherche sur les inégalités de genre :

1. 📰 Une étude de l’Institut Reuters a révélé que les femmes occupent 24 % des postes de cadres éditoriaux dans l’industrie mondiale de l’information, soit une hausse de seulement 2 % par rapport à 2020. À ce rythme de changement, la parité dans les postes éditoriaux les plus élevés arrivera en 2074.
2. 🚛 Une augmentation “stupéfiante” du nombre de femmes et de filles vivant à proximité des mines de cobalt de la RDC ont déclaré souffrir de graves problèmes de santé reproductive.
3. 👔 Les lieux de travail avec une culture de la compétition où les employé·es se battent pour les primes et les promotions aggravent les inégalités de genre : voici l’étude originale et
   l’article dans The Conversation.

Dites-nous ce que vous aimeriez lire !

Nous aimerions savoir ce que vous pensez de La Preuve. Avez-vous des suggestions sur le format ou le contenu ? Sur quels sujets liés à la recherche sur l’égalité des genres souhaiteriez-vous particulièrement lire ? Quelles informations vous seraient particulièrement utiles ?

N’hésitez pas à nous contacter et à nous faire part de ce qui vous plairait. Vos idées et vos suggestions contribueront à façonner le futur de La Preuve.

À propos de nous

PS : La newsletter est également disponible en anglais.