Les algorithmes peuvent-ils être racistes ?

Vous avez probablement vu l'image de Barack Obama, pixélisée puis reconstruite par un algorithme. Le résultat est assez éloigné de l'original et de ce qu'un humain imaginerait.

En effet, un humain raisonnablement informé peut immédiatement reconnaître Barack Obama malgré la mauvaise qualité de l'image. Une personne n'ayant jamais vu de photo de Barack Obama serait-elle aussi surprise ? C'est moins certain.

Peut-on dire que l'algorithme est « raciste » ? Non, un algorithme n'a pas d'émotions, pas de concept d'humains ou de race. Il est simplement imparfait, parfois inexact, et finalement « biaisé ».

‍

Quels sont ces biais ?

Les algorithmes ne font que refléter les données sur lesquelles ils sont entraînés. Généralement, le contexte, c'est-à-dire les données d'entrée, et le résultat sont nécessaires, soit observés lors de la découverte d'une règle, soit étiquetés lorsqu'il s'agit de reproduire un comportement humain. Ces ensembles de données sont souvent rares et généralement imparfaits, donc biaisés.

Il est très difficile d'obtenir des données de haute qualité et non biaisées. En théorie, les ensembles de données devraient être entièrement représentatifs de toutes les conditions possibles pour que l'algorithme apprenne efficacement et généralise de manière appropriée. En pratique, les algorithmes ont du mal à gérer les situations inconnues, et les performances ont tendance à se dégrader lorsqu'ils sont confrontés à des scénarios qui n'étaient pas représentés dans les données d'entraînement.

Un exemple classique est le biais de survie. Vous connaissez peut-être le cas des avions revenant du combat avec des impacts de balles. Où l'avion devrait-il être renforcé ? La réponse intuitive est de renforcer les zones qui ont été touchées. En réalité, c'est le contraire : les zones qui n'ont pas été endommagées sur les avions « survivants » devraient être renforcées, car les dommages dans ces zones ont probablement causé le crash d'autres avions, et ne sont donc pas représentés dans les données.

Lors de l'entraînement d'un algorithme d'évaluation des risques, par exemple, il y a une forte probabilité que les données historiques n'incluent pas les cas rejetés. L'entraînement du modèle sur de telles données peut donc conduire à négliger une catégorie de risque « évidente ».

De même, si un algorithme est entraîné à reproduire un comportement humain passé, il reproduira également les erreurs passées. Par exemple, il n'est probablement pas conseillé d'entraîner une voiture autonome à respecter les feux de signalisation uniquement sur la base du comportement observé de milliers de conducteurs. Une approche claire, basée sur des règles, est probablement plus fiable.

Ce sont des biais techniques. Il n'y a pas de notion de racisme ici, seulement des erreurs, plus ou moins visibles et plus ou moins significatives. C'est typiquement ce qui s'est passé avec la reconstruction de l'image de Barack Obama, où l'algorithme n'a probablement pas été entraîné sur des données suffisamment robustes ou représentatives.

D'autres biais, plus nuancés, sont les biais éthiques.

Il n'y a pas d'erreur ici. L'algorithme reflète une réalité que nous pouvons choisir de corriger. Par exemple, si un groupe ethnique donné présente une incidence plus élevée de certaines conditions de santé, un algorithme pourrait recommander des primes d'assurance maladie plus élevées. Cela peut être techniquement exact, mais pas nécessairement souhaitable. En conséquence, le critère ethnique pourrait devoir être exclu des calculs de primes. Cependant, il pourrait rester pertinent dans un contexte de diagnostic médical. Il s'agit d'une décision éthique, et non technique, et cela a peu à voir avec l'intelligence artificielle elle-même.

Supprimer une variable d'entrée est simple, et l'un des avantages des algorithmes est qu'ils ne déforment pas leur logique. Bien qu'ils puissent être complexes à interpréter, des méthodes d'explicabilité existent pour rendre leurs processus de décision plus transparents.

Les humains, en revanche, sont au moins aussi biaisés, sinon plus, que les algorithmes. Les biais cognitifs sont bien documentés et opèrent souvent inconsciemment. De plus, les humains peuvent déformer leur raisonnement et reconnaissent rarement les décisions prises sur des bases erronées.

Les algorithmes, en revanche, sont plus transparents et plus faciles à analyser, à condition que les bons outils et méthodes soient appliqués. La clé est d'identifier et de traiter les biais, qu'ils soient techniques ou éthiques, de manière structurée et mesurée. Il est important de ne pas confondre ces problèmes ni de les amplifier par des récits trop alarmistes.

Morand Studer

Sources : https://www.ulyces.co/denis-hadzovic/les-intelligences-artificielles-sont-racistes-voici-pourquoi/ https://fr.wikipedia.org/wiki/Biais_du_survivant

‍