15 / 12 / 2016
#Rencontre

Questionner la toute-puissance des algorithmes : rencontre avec Surya Mattu

  • Linkedin
Alors que les algorithmes prennent une place de plus en plus importante dans nos vies, de simples recommandations culturelles au trading à haute fréquence, il convient de s’interroger sur la manière dont ils sont conçus, leur potentiel, mais aussi leurs limites. C’est notamment ce qu’a fait Surya Mattu, ingénieur et chercheur chez ProPublica, en participant à l’élaboration d'une enquête qui entend faire la lumière sur les biais algorithmiques. RSLN l’a rencontré.
TL;DR
  • linkedin
Surya Mattu, ingénieur et chercheur, nous fait part de ses réflexions sur les biais algorithmiques.

* Mise à jour : Jeudi 15 décembre 2016, la secrétaire d’Etat chargée du Numérique et de l’Innovation, Axelle Lemaire, a tenu une conférence de presse intitulée « Réguler les algorithmes ». Elle y a annoncé le lancement d’initiatives visant à « répondre aux fantasmes qui entourent les algorithmes et prennent de plus en plus d’ampleur ». Parmi ces initiatives, un projet piloté par l’Inria a pour objectif d’établir les normes définissant un algorithme « loyal ». Un autre, mené par le Conseil national du numérique, prendra la forme d’un «outil permettant aux utilisateurs de renseigner toutes leurs mauvaises expériences avec des algorithmes. »

surya-mattuDes exemples de discriminations algorithmiques, Surya Mattu, chercheur chez ProPublica, en a plus d’un à raconter. «Il y a notamment cette histoire révélée par Bloomberg concernant le service de livraison en un jour ouvré d’Amazon», qui ne couvre pas certains quartiers où vivent des populations défavorisées. Autre illustration, dévoilée par ProPublica : le prix des packs d’entraînement au Scholastic Assessment Test (SAT), l’équivalent du baccalauréat américain, qui varie selon les quartiers d’habitation d’une même ville. Dans chacun des cas, certaines personnes sont en situation d’exclusion. En cause : les biais algorithmiques.

De l’aveu même de Surya Mattu, définir précisément un biais algorithmique n’est pas chose aisée :

«Je dirais que c’est un ensemble de règles implémentées dans un input et qui produisent, en output, des conséquences différentes pour tel ou tel groupe de personnes», explique-t-il.

Des «conséquences différentes» qui ne sont pas forcément pensées en amont, encore moins souhaitées, mais qui sont néanmoins bien réelles. En d’autres termes, un algorithme pourra créer des discriminations «parce que le système est discriminant en lui-même». Le système ? Il peut tout aussi bien s’agir du jeu de données utilisé, de la formule algorithmique appliquée que de l’analyse du résultat.

Modélisation par algorithme. x6e38 via Flickr CC BY 2.0

Un phénomène globalisé

Si, en France, ces préoccupations n’en sont pas au même stade d’avancement, les récents questionnements sur le système « admission post-bac » et l’ouvrage du chercheur Dominique Cardon intitulé A quoi rêvent les algorithmes, ont eu, entre autres, le mérite d’ouvrir le débat. Voire de trouver un certain écho dans la classe politique.

Avant sa présentation au Conseil des Ministres, Axelle Lemaire, la secrétaire d’Etat chargée du numérique, revenait sur Rue89 sur son projet de loi pour une République Numérique :

«La plupart des décisions sont prises par des algorithmes informatiques mais les gens ne le réalisent pas. Prenez l’affectation des enseignants. On pense que c’est quelqu’un dans un bureau qui décide que monsieur Untel devrait aller à Orléans plutôt qu’à Marseille [ce qui n’est pas le cas puisqu’un algorithme s’en charge, NDLR]. Connaître les critères permettrait de lutter contre le sentiment d’injustice. Cela éviterait aussi les abus et les interventions discrétionnaires.»

Des exemples de part et d’autres du globe qui confinent au mathwashing, concept développé par Fred Benenson, anciennement à la tête du département data de Kickstarter : selon ce dernier, l’utilisation des statistiques servirait, dans certains cas, à dessiner une réalité différente de ce qu’elle est réellement, sous couvert de rationalité mathématique.

Encourager tout un chacun à s’interroger

Ce sont ces mêmes mécanismes que dénoncent Surya Mattu et deux de ses collègues dans l’enquête de ProPublica intitulée Machine Bias, autour d’un logiciel de prédiction du crime utilisé aux Etats-Unis, extrêmement discriminant envers les afro-américains. «Quand on vous dit que les chiffres ne mentent pas, c’est déjà un mensonge…», indique-t-il à ce propos.

Pour ce qui est des racines du problème, Surya Mattu n’écarte aucune piste, ni le manque de parité dans le milieu du code, ni le manque de diversité sociale et cultuelle ou encore l’absence de certaines compétences : «L’informatique, en tant que discipline, n’a pas la même rigueur en termes d’éthique que les sciences sociales», précise-t-il.

Une multitude de facteurs qui devraient encourager tout un chacun à interroger la pertinence des algorithmes que nous utilisons. Ce qui semble plus facile à dire qu’à faire selon le chercheur :

«Ce n’est pas tellement que les gens ont une confiance aveugle dans les algorithmes en tant que construction mathématique, mais plutôt qu’ils n’ont pas les moyens de les questionner. C’est un peu comme les médicaments : lorsque vous en prenez, vous ne connaissez pas forcément leur composition exacte. Et il est difficile de prouver que tel médicament a un effet néfaste si vous êtes le seul à le remarquer…»

Encore plus si vous ne le remarquez pas.

Modélisation par algorithme. x6e38 via Flickr CC BY 2.0

Auditer les algorithmes ?

Comment, dans un tel contexte, parvenir à reprendre le contrôle sur les algorithmes ? Sur ce point, Surya Mattu se montre plus hésitant : «Auditer un code n’est pas évident. Le processus pour le faire non plus. La première question que l’on devrait se poser est : quelle métrique utiliser ? »

« Il ne serait pas inutile qu'un data scientist travaille en binôme avec un chercheur issu des sciences sociales. »

0 share

Qui pourrait, par ailleurs, se charger d’un tel audit ? Ici, les idées du chercheur sont plus arrêtées, et il se prend à imaginer «un monde idéal, dans lequel une instance composée de membres d’administrations et du secteur privé gérerait l’audit des algorithmes ». Les entreprises pourraient aussi avoir leur rôle à jouer, «en ouvrant leurs algorithmes à des personnes volontaires pour en vérifier l’objectivité».

Mais avant que de telles mesures ne soient prises, Surya Mattu préconise de porter une attention toute particulière au design même du code : «Les algorithmes avec lesquels nous fonctionnons ont des frontières de plus en plus floues ; c’est pourquoi il ne serait pas inutile qu’un data scientist travaille en binôme avec, par exemple, un chercheur issu des sciences humaines.»

Une première étape qui, loin de résoudre à elle seule la question des biais algorithmiques, permettrait néanmoins de faire avancer la réflexion sur le sujet en apportant de nouvelles pistes d’actions.