#15 Oui, l'IA peut être raciste et sexiste

#15

Dans ce numéro :
→ Comment les biais des algorithmes se produisent-ils ?
→ Et pourquoi est-ce si difficile à résoudre ?
→ Le podcast à écouter : Peut-on faire confiance aux algorithmes ?
→ En bref

Le 13 mars 1984, une courte nécrologie parut dans le New York Times. Elle annonçait la mort du professeur en sciences politiques au MIT, Ithiel de Sola Pool, à l'âge de 66 ans. Comme à l'accoutumée dans ce genre d'exercice, on y décrit les faits d'arme du scientifique et on souligne qu'il fut l'un des premiers scientifiques à utiliser les ordinateurs pour créer des modèles pour analyser les comportements politiques.

Nécrologie somme toute succincte et banale, sans qu'on n'ait rien à redire de prime abord. Personne ne connait réellement ce scientifique et ses travaux. Sauf que l'article ne mentionne pas l'autre activité de cet homme : il fut un entrepreneur et pas n'importe lequel, puisque les GAFAM lui doivent énormément.

Petit retour en arrière, nous sommes en 1959, cette fois-ci. Le candidat démocrate JF Kennedy se pose énormément de questions quant à son éventuelle élection et est confronté à un problème qui s'aggrave : comment retourner l'opinion des afro-américain.e.s et des autres minorités en sa faveur ? Un politologue, plutôt entreprenant, du MIT le contacta et lui proposa une solution : il allait rassembler les données des électeurs issues des élections présidentielles précédentes, les enregistrer dans une nouvelle machine de traitement numérique (oh un ordinateur !), développer un algorithme pour modéliser le comportement de vote, prédire quelles positions politiques mèneraient aux résultats les plus favorables, et ensuite conseiller à la campagne Kennedy d'agir en conséquence. Pour ce faire, Ithiel de Sola Pool créa une société, la Simulmatics Corporation, et exécuta son plan avec succès, puisque JF Kennedy fut élu, grâce au soutien des minorités ethniques. Les activités de cette entreprise ne s'arrêtèrent pas à l'élection de JFK. Le président Johnson demanda, en 1967, les raisons de la flambée de violence de la communauté noire à la commission Kerner. Cette dernière fit appel à Simulmatics.

De même, dans le cadre d'un projet de la DARPA, la société de Pool avait travaillé d'arrache-pied à la préparation d'une campagne massive de propagande et de psychologie contre le Vietcong. Sous le couvert de ce qu'ils appelaient une "étude médiatique", Simulmatics a constitué une équipe, pour ce qui équivalait à une campagne de surveillance à grande échelle dans les "zones touchées par les émeutes".

Tout donc n'a pas commencé avec les GAFAM, mais par une entreprise, dont tout le monde a aujourd'hui oublié l'existence, mais qui a conçu le monde de surveillance tel que nous le vivons aujourd'hui.

Bonne lecture !

-- Dominique

Copyright Technology Review - 2020

Comment les biais en l'IA se produisent-ils ?

Aujourd'hui, la grande majorité des applications en intelligence artificielle est plutôt bien documentée, notamment celles qui reposent sur le deep learning et comment ces dernières trouvent leur modèle de fonctionnement dans les datas. De même, de nombreux articles et d'études démontrent comment ces intelligences artificielles commencent à affecter le quotidien des personnes et particulièrement, comment elles perpétuent la discrimination à l'embauche dans différents secteurs et surtout envoient des gens en prison injustement.

Aujourd'hui, constater que les algorithmes ont des biais cognitifs ne suffit plus. Il faut prendre le taureau par les cornes et régler ces problèmes. Comprendre la mécanique des biais est une première et essentielle étape.

De façon simpliste, nous pensons généralement que les biais interviennent au moment de la collecte des informations. En fait, la réalité est plus nuancée que ça, comme d'habitude. On pourrait la résumer en trois points essentiels

Encadrement du problème
Généralement, lorsque les ingénieurs conçoivent un modèle deep-learning, la première chose à laquelle ils réfléchissent est de décider ce qu'il va faire. Par exemple, une société de crédits peut vouloir prédire la solvabilité d'un client, mais la "solvabilité" est un concept plutôt nébuleux. Pour la traduire en quelque chose qui puisse être calculée, l'entreprise doit décider si elle veut, par exemple, maximiser ses marges bénéficiaires ou maximiser le nombre de prêts qui sont remboursés. Elle pourrait alors définir la solvabilité dans le contexte de cet objectif. Le problème est que "ces décisions sont prises pour diverses raisons commerciales autres que l'équité ou la discrimination", explique Solon Barocas, professeur assistant à l'université Cornell, spécialisé dans l'éthique de l'apprentissage machine. Si l'algorithme découvrait que l'octroi de prêts à risque était un moyen efficace de maximiser les profits, il finirait par adopter un comportement prédateur même si ce n'était pas l'intention de l'entreprise.

La collecte des datas
Lorsqu'on collecte les données qui nourrissent les algorithmes, deux types de préjugés l'accompagnent souvent, soit les informations ne sont pas représentatives de la réalité, soit elles reflètent des préjugés déjà existants. Le premier cas peut se produire, par exemple, si un algorithme reçoit plus de photos de visages à peau claire que de visages à peau foncée. Le système de reconnaissance des visages, qui en résulterait, serait inévitablement moins efficace pour reconnaître les visages à la peau plus foncée. Le deuxième cas est précisément celui qui s'est produit lorsqu'Amazon a découvert que son outil de recrutement interne écartait les candidates. Parce qu'elle a été formée sur les décisions d'embauche historiques, qui favorisaient les hommes par rapport aux femmes, elle a appris à faire de même.

Préparer les données
Enfin, il est possible d'introduire un biais lors de la phase de préparation des données, qui consiste à sélectionner les attributs que vous souhaitez que l'algorithme prenne en compte. Il ne faut pas confondre cette étape avec celle du cadrage du problème. Dans le cas de la modélisation de la solvabilité, un "attribut" pourrait être l'âge du client, son revenu ou le nombre de prêts remboursés. Dans le cas de l'outil de recrutement d'Amazon, un "attribut" pourrait être le sexe du candidat, son niveau d'éducation ou ses années d'expérience. C'est ce que l'on appelle souvent l'"art" du deep-learning : le choix des attributs à prendre en compte ou à ignorer peut influencer de manière significative la précision des prévisions de votre modèle. Mais si son impact sur la précision est facile à mesurer, son impact sur le biais du modèle ne l'est pas.

Et pourquoi est-ce si difficile à résoudre ?

Instinctivement, on voit comment on pourrait atténuer les biais aux différentes étapes, mais ça reste quand même un sacré défi à relever. Pourquoi ?

Non connaissance des biais
L'introduction d'un biais n'est pas toujours évidente lors de la construction d'un modèle, car vous ne vous rendez compte que beaucoup plus tard des impacts en aval de vos données et de vos choix. Une fois que vous l'avez fait, il est difficile d'identifier rétroactivement d'où vient ce biais et de trouver ensuite comment s'en débarrasser. Dans le cas d'Amazon, lorsque les ingénieurs ont découvert que leur outil pénalisait les candidates, ils l'ont reprogrammé pour ignorer les mots explicitement sexués comme "femmes". Ils ont rapidement découvert que le système révisé continuait à utiliser des mots implicitement sexués - des verbes qui étaient fortement corrélés avec les hommes plutôt qu'avec les femmes, comme "exécuté" et "capturé" - et à s'en servir pour prendre ses décisions.

Des process imparfaits
De nombreux standards de l'apprentissage approfondi ne sont pas conçus dans l'optique de la détection de biais. Les modèles d'apprentissage approfondi sont testés avant d'être déployés, créant ainsi ce qui semble être une parfaite opportunité pour détecter les biais. Mais en pratique, les tests ressemblent généralement à ceci : les informaticiens divisent au hasard leurs données avant la formation en un groupe qui est réellement utilisé pour la formation et un autre qui est réservé à la validation une fois la formation terminée. Cela signifie que les données que vous utilisez pour tester les performances de votre modèle présentent les mêmes biais que les données que vous avez utilisées pour l'entraînement. Ainsi, elles ne permettront pas de mettre en évidence des résultats faussés ou biaisés.

L'absence de contexte social
Dans le domaine de l'informatique, on considère comme une bonne pratique de concevoir un système qui peut être utilisé pour différentes tâches dans différents contextes. "Cela revient à ignorer beaucoup de contextes sociaux", explique M. Selbst. "Vous ne pouvez pas avoir un système conçu dans l'Utah et ensuite appliqué directement dans le Kentucky car les différentes communautés ont des versions différentes de ce qu'est l'équité. On ne peut pas non plus avoir un système qui demande des résultats de justice pénale "équitables" et les applique ensuite à l'emploi. La façon dont nous concevons l'équité dans ces contextes est tout simplement différente".

Définir l'équité
Il n'est pas non plus évident de savoir à quoi doit ressembler l'absence de partialité. Ce n'est pas seulement vrai en informatique : cette question fait l'objet de longs débats en philosophie, en sciences sociales et en droit. Ce qui est différent en informatique, c'est que le concept d'équité doit être défini en termes mathématiques, comme l'équilibre entre les taux de faux positifs et de faux négatifs d'un système de prédiction. Mais comme les chercheurs l'ont découvert, il existe de nombreuses définitions mathématiques différentes de l'équité qui s'excluent mutuellement. L'équité signifie-t-elle, par exemple, que la même proportion de personnes noires et blanches devrait obtenir des scores d'évaluation à haut risque ? Ou qu'un même niveau de risque devrait donner le même résultat quelle que soit la race ? Il est impossible de répondre aux deux définitions en même temps, alors à un moment donné, il faut en choisir une. Mais alors que dans d'autres domaines, cette décision est considérée comme quelque chose qui peut changer au fil du temps, cette notion doit être obligatoirement fixée en programmation. "En fixant la réponse, vous résolvez un problème qui semble très différent de la façon dont la société a tendance à penser à ces questions", explique M. Selbst.

Podcast à écouter : peut-on faire confiance aux algorithmes ?

En bref

→ La reconnaissance faciale est utilisée par la police américaine contre les manifestants
→ Snapchat a décidé de ne plus promouvoir le compte de Donald Trump
→ L'Inde vient de bannir TikTok et 58 autres apps chinoises.