Contenu
- Le parti pris beauté AI
- Le biais de genre dans les langues
- 2. Discrimination fondée sur le sexe et l'âge dans l'emploi
- Échec de la reconnaissance faciale
- Biais de récidive
À emporter:
Au cours des dernières années, l'IA a été de plus en plus adoptée et appliquée à tous les domaines, de l'évaluation de la beauté à l'évaluation du risque de récidive. Ce faisant, il a également respecté les normes qui soutiennent les préjugés et la discrimination dans plusieurs cas.
Les progrès technologiques ont le potentiel de démocratiser véritablement l'accès à l'information et aux opportunités. Cependant, lorsque, dans certains cas, il est utilisé de manière à renforcer l’idée que dans notre société, certaines personnes sont plus égales que d’autres.
C’est ce que nous avons observé dans les sept cas suivants dans lesquels l’intelligence artificielle (IA) est délibérément utilisée pour exclure certaines catégories ou dans laquelle elle reflète simplement le biais créé par ses programmeurs humains avec un effet discriminatoire.
Le parti pris beauté AI
La beauté est peut-être dans l'œil du spectateur, mais lorsque cette vue subjective peut programmer l'IA, il y a un parti pris dans le programme. Rachel Thomas a relaté l'un de ces épisodes d'un concours de beauté organisé par beauty.ai en 2016. Les résultats ont montré que les teints plus clairs étaient considérés comme plus attrayants que les peaux foncées.
L’année suivante, «FaceApp, qui utilise des réseaux de neurones pour créer des filtres pour les photographies, a créé un« filtre de chaleur »qui éclairait la peau des personnes et leur donnait davantage de caractéristiques européennes.
Le biais de genre dans les langues
Thomas cite également un exemple documenté de traductions qui reflètent des attentes stéréotypées en matière de carrière. Le point de départ est constitué de deux phrases: "Elle est médecin. Il est infirmière."
Si vous les traduisez ensuite en turc puis en anglais, vous obtiendrez le genre de résultats que vous auriez pu attendre d’un jeu de téléphone.
Au lieu d’obtenir ce que vous avez commencé avec, vous auriez eu le genre d’attente des années 50: "C’est un médecin. Elle est une infirmière." Elle explique que cela est dû au pronom singulier neutre en genre dans la langue turque qui attribuera le genre en fonction des attentes et des préjugés stéréotypés. (Lire Femmes dans l'IA: Renforcer le sexisme et les stéréotypes avec Tech.)
Si les préjugés raciaux et sexistes qui filtrent en images et en langage sont une source de chagrin, ils ne sont pas tout à fait la même chose que la discrimination active résultant de l'IA, mais c'est également arrivé.
Sa preuve consistait en une capture d'écran des limitations imposées à une annonce dans sa catégorie de logement, qui permettait de limiter le public en cochant les exclusions de catégories telles que les Afro-Américains, les Américains d'origine asiatique ou les Hispaniques. L'annonce peut être vue ici.
Comme le souligne ProPublica, les effets discriminatoires de telles publicités sont illégaux aux termes de la Fair Housing Act de 1968 et de la Civil Rights Act de 1964, dont le seul moyen de défense en l'espèce était que la publicité ne visait pas le logement, t sur une propriété ou une maison à vendre ou à louer.
Cependant, il y a eu d'autres cas de ciblage indiquant des préjugés raciaux et ayant incité diverses entités à engager des poursuites au civil contre le réseau social. Comme l'a signalé Wired, il a finalement décidé d'adapter sa technologie de ciblage publicitaire à la suite du règlement de cinq affaires judiciaires l'accusant de permettre la discrimination contre les minorités par le biais de publicités en mars 2019.
Dans son rapport sur le règlement, l'ACLU a souligné à quel point ces publicités ciblées pouvaient être insidieuses, car les minorités et les femmes ne se rendent peut-être même pas compte qu'elles ne bénéficient pas du même accès à l'information, au logement et aux mêmes opportunités d'emploi que les hommes blancs.
Alors que de plus en plus de personnes se tournent vers Internet pour trouver un emploi, un appartement ou un prêt, il existe un risque réel que le ciblage des annonces se reproduise, voire exacerbe, les préjugés raciaux et sexistes existants dans la société. Imaginez si un employeur choisit d'afficher des annonces d'emploi d'ingénierie réservées aux hommes - non seulement les utilisateurs non identifiés comme étant des hommes ne verront jamais ces annonces, ils ne sauront jamais non plus ce qu'ils ont manqué.
Après tout, nous avons rarement un moyen d'identifier les annonces que nous ne voyons pas en ligne. Le fait que cette discrimination soit invisible pour l'utilisateur exclu le rend d'autant plus difficile à arrêter.
2. Discrimination fondée sur le sexe et l'âge dans l'emploi
Parmi les cas juridiques figurait la discrimination illégale en matière de logement autorisée. Dans son rapport sur le règlement, ProPublica a déclaré avoir testé la plate-forme et réussi à acheter «des annonces liées au logement excluant des groupes tels que les Afro-Américains et les Juifs». Elle avait précédemment trouvé des offres d'emploi excluant les utilisateurs par âge et par sexe placées par les entreprises. qui sont des noms familiers. "
Un certain nombre d’annonces d’emploi trouvées par l’ACLU ont été explicitement ciblées sur les hommes d’une tranche d’âge donnée. Les internautes ont ainsi pu trouver en cliquant sur la réponse à la raison pour laquelle cette annonce leur était présentée, dans un autre article de Wired. L’ACLU a porté plainte contre le réseau social et les entreprises qui ont placé les annonces auprès de la Commission pour l’égalité d’emploi, au motif qu’elles violaient les lois du travail et des droits civils.
La discrimination contre l'embauche de personnes de plus de 40 ans est contraire à la loi fédérale sur la discrimination dans l'emploi (ADEA). Toutefois, le ciblage des annonces par des personnes de moins de cet âge est une des choses que la plate-forme permet.
ProPublica en a fait l’objet dans l’un de ses rapports, révélant quelles offres d’emploi exploitaient cette forme d’exclusion illégale en fonction de l’âge. Les «noms familiers» comprennent Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fonds pour l’intérêt public, Goldman Sach, OpenWorks et lui-même, entre autres.
Échec de la reconnaissance faciale
"La reconnaissance faciale est précise, si vous êtes un homme blanc", a déclaré le titre d'un article du New York Times publié en février 2018. Il citait des résultats qui établissaient une corrélation nette entre le teint de la peau et une identification erronée:
«Plus la peau est sombre, plus le nombre d'erreurs est élevé - jusqu'à près de 35% pour les images de femmes à la peau plus foncée, selon une nouvelle étude qui innove en mesurant le fonctionnement de la technologie sur des personnes de race et de sexe différents."
Les résultats sont à mettre au crédit de Joy Buolamwini, chercheuse au MIT Media Lab et fondatrice de la Ligue algorithmique de la justice (AJL). Son domaine de recherche concerne les biais qui sous-tendent l'IA, ce qui entraîne des résultats aussi faussés lorsqu'il s'agit de reconnaître des visages qui ne correspondent pas à la norme masculine blanche définie pour le modèle.
Buolamwini a présenté le problème des préjugés raciaux et sexuels en matière de reconnaissance faciale dans un exposé de TED en 2017, auquel elle a fait référence au début de 2018 dans la vidéo sur le projet Gender Shades du MIT Lab:
<
La description de la vidéo indique clairement que le fait de laisser le biais de l'IA incontrôlé "paralysera l'âge de l'automatisation et exacerbera davantage l'inégalité s'il est laissé pourrir." Le risque n’est rien de moins que de "perdre les gains réalisés avec le mouvement des droits civiques et le mouvement des femmes sous la fausse hypothèse de la neutralité de la machine".
La description de la vidéo ajoute l'avertissement que beaucoup d'autres ont déjà signalé, comme nous l'avons vu dans Women in AI: Renforcer le sexisme et les stéréotypes avec Tech: "Les systèmes automatisés ne sont pas intrinsèquement neutres. Ils reflètent les priorités, les préférences et les préjugés - les codes codés. le regard de ceux qui ont le pouvoir de modeler l'intelligence artificielle ".
Le 25 janvier 2019, Buolamnwini a publié un article sur Medium qui s’appuyait sur ses propres recherches et sur celle de chercheurs supplémentaires qui expliquaient comment les failles de l’IA entraînaient des erreurs dans la reconnaissance d’Amazon et exigeaient que la société arrête de vendre le service d’IA aux services de police.
Bien que Rekognition puisse se vanter d'une exactitude de 100% pour la reconnaissance des hommes à la peau claire et d'une précision de 98,7%, même pour les hommes plus sombres, la précision est tombée à 92,9% pour les femmes plus claires. La chute brutale à 68,6% de la précision chez les femmes plus sombres est encore plus criante.
Mais Amazon a refusé de céder. Un article de Venture Beat citait une déclaration du Dr Matt Wood, directeur général de l’apprentissage en profondeur et de l’IA chez AWS, dans laquelle il insistait sur le fait que les conclusions des chercheurs ne reflétaient pas la manière dont l’IA était utilisé, expliquant:
«L'analyse faciale et la reconnaissance faciale sont complètement différentes en termes de technologie sous-jacente et de données utilisées pour les former. Essayer d’utiliser l’analyse faciale pour évaluer la précision de la reconnaissance faciale n’est pas conseillé, car ce n’est pas l’algorithme prévu à cet effet. ”
Mais il n’ya pas que ceux affiliés à de grands centres de recherche qui ont trouvé les algorithmes très problématiques. Selon le rapport Gizmodo, l’ACLU a effectué son propre test à un coût raisonnable de 12,33 dollars. Il a constaté que Reconnaissance a associé 28 membres du Congrès à des photos de criminels.
"Les fausses identifications ont été faites lorsque l'ACLU de Californie du Nord a demandé à Reconnaissance de faire correspondre les photos des 535 membres du Congrès contre 25 000 photos mugshot disponibles au public."
Comme 11 personnes sur 28 étaient des personnes de couleur, il en résultait un taux d'erreur important de 39%. En revanche, le taux d'erreur dans son ensemble était de 5% plus acceptable. Six membres du Black Caucus du Congrès, qui figuraient parmi ceux de la reconnaissance liée aux mugshots, ont exprimé leur inquiétude dans une lettre ouverte au PDG d’Amazon.
Biais de récidive
Le biais inhérent à l'IA contre les personnes de couleur devient un problème plus grave lorsqu'il représente plus qu'une simple erreur d'identification. Telle était la conclusion d'une autre enquête de ProPublica en 2016. Les conséquences de ce biais ne sont rien de moins que la liberté individuelle, associée à l'ignorance du risque réel de la personne dont la couleur de la peau est favorisée par l'algorithme.
L'article mentionnait deux affaires parallèles impliquant un auteur blanc et un noir. Un algorithme a été utilisé pour prédire lequel risquait de nouveau de violer la loi. Le Noir était considéré à risque élevé et le Blanc, à faible risque.
La prédiction se trompait complètement, et le Blanc libéré devait être à nouveau emprisonné. C'est extrêmement problématique, car les tribunaux se fient à la notation pour décider de la libération conditionnelle, ce qui signifie que la partialité raciale prise en compte dans le programme signifie une inégalité de traitement devant la loi.
ProPublica a testé l'algorithme en comparant les scores de risque de plus de 7 000 personnes arrêtées dans le comté de Broward, en Floride, en 2013 et 2014 avec le nombre de nouvelles accusations criminelles portées contre elles au cours des deux années suivantes.
Ce qu’ils ont découvert, c’est qu’à peine 20% des prédictions relatives à la répétition de crimes de nature violente se réalisaient et que davantage de crimes mineurs ne se produisaient que pour 61% des délinquants présentant un score de risque.
Le vrai problème n’est pas seulement le manque de précision, mais aussi les préjugés raciaux:
- La formule risquait particulièrement de faussement marquer les accusés noirs comme de futurs criminels, en les qualifiant à tort de cette façon deux fois plus vite que les accusés blancs.
- Les accusés blancs ont été classés à tort comme présentant un risque faible plus souvent que les accusés noirs.
En effet, cela s'est traduit par un taux d'erreur de 45% pour les Noirs et de 24% pour les Blancs. En dépit de cette statistique criante, Thomas a signalé que la Cour suprême du Wisconsin avait toujours maintenu l'utilisation de cet algorithme. Elle détaille également d'autres problèmes liés aux algorithmes de récidive.