Présentation d’Algowritten, un projet lauréat du Mozilla Technology Fund
Les chatbots fonctionnant avec une IA, comme ChatGPT, ont de multiples facettes : ils sont innovants, ils sont clairs, ils sont rapides.
Et ils sont sexistes.
À mesure que les IA génératives se sont généralisées ces dernières années, elles ont créé d’innombrables textes, allant de nouvelles fictives aux articles scientifiques en passant par de simples dialogues avec des humains. Et pour toute personne qui y prêtera attention, il est clair que ces textes peuvent souvent renforcer le sexiste à l’égard des femmes.
« Ce qui est intéressant avec les textes créés par des machines, c’est qu’ils nous font réfléchir sur nos propres préjugés », explique David Jackson, un designer qui effectue des recherches sur l’IA à l’université métropolitaine de Manchester (MMU).
Après tout, ces outils d’IA sont entraînés sur des mots écrits par des humains, des mots qui sont également fréquemment teintés de sexisme. « Ce sont des choses que nous acceptons dans nos propres écrits, dans une certaine mesure », explique David Jackson, « mais lorsque nous voyons un ordinateur faire la même chose, cela devient monstrueux. »
David Jackson, accompagné de Marsha Courneya, chercheuse à la MMU, et du professeur Toby Heys, sont les créateurs d’Algowritten. Algowritten est un projet lauréat du Mozilla Technology Fund qui détecte, décrit et vise à réduire le sexiste à l’égard des femmes dans l’IA générative.
Ce qui est intéressant avec les textes créés par des machines, c’est la façon dont ils nous font réfléchir sur nos propres préjugés.
David Jackson, Algowritten
Algowritten repose sur l’application Stepford, une approche astucieuse qui renvoie la technologie d’IA à elle-même. L’équipe entraîne spécialement GPT-3 et des algorithmes similaires à repérer les préjugés sexistes créés par son IA sœur. « Nous avons pensé qu’il serait intéressant de faire en sorte que l’outil soit réflexif : qu’il s’analyse lui-même et identifie les éléments problématiques dans ses propres mots », explique David Jackson.
« Il peut être utilisé pour créer une boucle de rétroaction sur la machine », ajoute Toby Heys. « Pour créer quelque chose qui pourrait être utilisé de façon plus concrète. »
Marsha Courneya note que l’une des pratiques sexistes les plus courantes de l’IA générative est « la réorientation vers l’hétéronormativité. Elle vous ramène sans cesse vers la position la plus centrale. » Par exemple, lorsque l’équipe a soumis des œuvres de l’auteur de science-fiction queer Samuel Delaney à une IA, elles sont devenues plus hétéronormatives.
De même, les IA décrivent souvent les femmes en fonction de leur beauté physique et accusent les femmes du mauvais comportement des hommes.
Le projet a été lancé au sein du groupe de travail « IA digne de confiance » de Mozilla en 2020, lorsque des créateurs ont rassemblé une collection de nouvelles générées par une IA dans une variété de genres, de la science-fiction à l’horreur en passant par le fantastique et la fiction littéraire.
« Nous voulions voir les préjugés surgir naturellement lors des interactions avec l’IA lorsqu’elle est utilisée comme un outil créatif », explique Toby Heys, qui a également réuni un groupe d’artistes et de scientifiques pour examiner les nouvelles.
La prédominance du sexisme est rapidement devenue évidente, par exemple avec des nouvelles qui supposaient que seuls des hommes peuvent être ingénieurs, à des nouvelles qui décrivent les femmes par leurs relations sentimentales avec les hommes. « Les préjugés sexistes étaient prédominants », explique Toby Heys.
À partir de là, les trois créateurs ont travaillé sur un script visant à aider l’IA à détecter ses propres préjugés. « Ça a plutôt bien fonctionné », fait remarquer David Jackson.
L’équipe s’efforce également de rendre l’application plus critique. Par exemple, au lieu de dire simplement « Ce paragraphe comporte des préjugés », elle pourra indiquer « Wow ! L’homme dans cette nouvelle traite les femmes comme des objets ». « Ce ton incite les humains à réfléchir et à déceler les préjugés », explique David Jackson.
« Lorsque l’IA n’est pas ’à sec’, lorsqu’elle a la personnalité d’un humain, cela mène à plus de discussions », ajoute Marsha Courneya.
Quelles sont les prochaines étapes pour Algowritten ? Le projet pourrait devenir une application similaire à Grammarly, mais pour détecter le sexisme plutôt que les erreurs grammaticales. Cependant, l’équipe espère quelque chose de plus profond. « Nous voyons cela comme des données et un ensemble de méthodologies qui peuvent être intégrées aux technologies elles-mêmes », explique David Jackson. « Cela pourrait jeter les bases des futurs développements. »
Ils notent également que leur IA, comme toute IA, a des limites — ce qui est peut-être le principal enseignement du projet. À titre d’exemple, Toby Heys signale des moments où un terme sexiste ou péjoratif est repris et utilisé par les personnes auxquelles il était destiné. « Il est très difficile d’entraîner une IA à ce genre de situation et de la maintenir à jour », explique-t-il. « C’est très difficile d’avoir un intermédiaire neutre. »