30 / 12 / 2016
#Rencontre

Cathy O’Neil : « Il ne faut pas perdre de vue que les algorithmes sont des constructions sociales »

  • Linkedin
À travers son ouvrage Weapons of Math Destruction, la mathématicienne Cathy O'Neil appelle à plus de responsabilité dans le code. Mais bien loin de vouloir gommer les biais algorithmiques, elle plaide pour une toute autre stratégie : apprendre à les discerner, à les accepter… et surtout à s’en servir à bon escient. RSLN s’est entretenu avec elle.
TL;DR
  • linkedin
La mathématicienne Cathy O'Neil explique comment se prémunir des biais algorithmiques.

Un cercle vicieux : voilà comment Cathy O’Neil décrit les biais algorithmiques. Des biais le plus souvent invisibles et involontaires mais qui, implémentés dans certains codes informatiques, peuvent avoir un impact concret sur nos vies. «Les algorithmes influencent la façon dont on embauche, le fait que l’on accorde ou pas un crédit à quelqu’un… En résumé, ils influent sur les opportunités que l’on donne aux gens», explique-t-elle.

Un diallèle qui, selon la mathématicienne, est le produit de plusieurs facteurs. Le contexte culturel tout d’abord :

«En réalité, tout est biaisé ! Les algorithmes étant par essence des constructions humaines, les développeurs y implémentent leurs réalités culturelles, leur histoire, leur éducation… Le plus souvent de manière involontaire. »

Un prisme culturel inévitable, auquel s’ajoute une peur des mathématiques, «que tout le monde a, à l’exception des mathématiciens comme moi. Et les personnes ciblées par ces algorithmes font typiquement partie des gens qui ont particulièrement peur des mathématiques et qui ne se considèrent donc pas assez experts pour questionner le système en lui-même.»

Des biais auto-alimentés

« Le pire, c'est que nous pensons que cela est juste parce que nous utilisons des algorithmes mathématiques, supposés objectifs et non-biaisés. »

0 share

Du fait de ces deux facteurs, le système s’auto-alimente en permanence. Illustration par l’exemple avec un algorithme de prédiction du crime : «C’est parce qu’il y a, aux Etats-Unis, un passif lourd entre des policiers blancs et des quartiers à forte population immigrée – portoricaine ou afro-américaine – que nous avons aujourd’hui une pratique policière relativement discriminante. Les algorithmes de prédiction du crime sont alimentés par les données de ce passé : ils nous donnent donc des prédictions biaisées.»

Le tout sous couvert scientifique, explique Cathy O’Neil:

«Le pire, c’est que nous pensons que cela est juste parce que nous utilisons des algorithmes mathématiques, supposés objectifs et non-biaisés. Donc nous y croyons davantage. Le fait que les gens aient une confiance quasi aveugle dans ce cachet scientifique est l’un des plus grands problèmes rencontrés par le code aujourd’hui. »

Choisir le biais le plus approprié

Au-delà des constats, la mathématicienne s’est également attardée sur les pistes à suivre pour « assainir » les algorithmes. Première étape : ne cesser de rappeler que l’algorithme existe grâce à une construction sociale, que cela soit la formule en soi mais aussi les données utilisées.

«Il ne faut jamais perdre de vue qu’une donnée est une construction sociale qui touche à des domaines bien plus larges que la seule programmation informatique, comme par exemple la sociologie ou la philosophie », précise-t-elle.

En d’autres termes : garder à l’esprit qu’un «data scientist n’est ni plus ni moins qu’un traducteur, qui traduit des décisions et les implémente dans un code. Je crois qu’il ne faut surtout pas oublier cela : les mathématiques n’éclipsent pas le contexte culturel dans lequel le code est rédigé. »

« Nous devons apporter un grand soin au choix de nos biais. »

0 share

Plus étonnant : après avoir longuement dénoncé les biais algorithmiques, Cathy O’Neil préconise de ne pas chercher à tous les éviter – ce qui serait impossible – mais plutôt de «choisir celui qui est le plus approprié, culturellement parlant ». Quitte à même s’en servir, un peu comme un filtre dont, à l’inverse des bulles décriées récemment, nous pourrions maîtriser les conséquences parfois dévastatrices :

«Nous devons apporter un grand soin au choix de nos biais, de façon à savoir si celui que l’on implémente est le biais que nous voulons ici, ou si ce dernier va mener à des décisions injustes ou discriminantes.»

Enfin, la mathématicienne propose de… débaptiser les algorithmes. Son souhait ? Les renommer en «processus de prise de décision». Un premier pas, simple et concret, vers une meilleure appréhension des algorithmes, qui doit, selon elle, permettre à tout un chacun de pouvoir interroger le système, en évacuant les peurs cristallisées autour de la notion de mathématiques.

Une manière de rappeler, aussi, que l’humain est le décideur final, et qu’il lui incombe de choisir de suivre ou non la recommandation algorithmique. Désormais en toute connaissance de cause sur les biais possibles…

* Cathy O’Neil, Weapons of Math Destruction, Crown Random House (2016)