third
Novembre 2018

Numéro Un

Retrouvez le numéro un de
Third : qui gouverne les
algorithmes ?

Third | Novembre 2018

Pourquoi il est possible et nécessaire de gouverner les algorithmes

INTERVIEW

 

Entretien avec Daniel Le Métayer, directeur de recherches à l’institut national de recherche en informatique et en automatique (INRIA)

 

Third (T) : Nous aimerions connaître votre définition de l’algorithme. Une fois cet objet circonscrit, pensez-vous qu’il faille le gouverner ?

Daniel Le Métayer (DLM) : Un algorithme est un enchaînement d’opérations et d’instructions qui permet de produire un résultat à partir de données qui lui ont été initialement fournies. Derrière cette définition générale, se cachent des situations très différentes.

Pour être plus précis, on peut distinguer (1) les algorithmes procéduraux qui procèdent de manière séquentielle pour résoudre un problème, à la manière d’une recette de cuisine, et (2) les algorithmes d’aide à la décision qui reposent sur l’intelligence artificielle pour assister l’homme dans une tâche.

Je pense qu’il faut surtout se concentrer sur les algorithmes d’aide à la décision car ce sont les plus complexes. Pour les construire, il faut soumettre au programme informatique des exemples avec le résultat attendu pour qu’il apprenne.

Ensuite, une fois qu’il aura digéré suffisamment de cas, il pourra produire des résultats à partir d’entrées identiques, similaires voire nouvelles selon le degré de complexité du programme. Pour résumer, l’algorithme d’aide à la décision traite des données et produit des résultats qui vont ensuite être utilisés par un humain pour prendre des décisions.

Il faut instaurer des règles pour éviter certaines dérives dans l’utilisation de ces algorithmes. Se protéger contre les dérives est une préoccupation fondamentale pour la protection des personnes physiques (il faut éviter les biais et les discriminations dans la prise de décisions) mais également des entreprises (l’utilisation d’outils informatiques ne doit pas être source de déséquilibres sur le marché).

Les juridictions ont déjà été confrontées à ces enjeux, comme en témoigne la sanction de 2,42 milliards d’euros prononcée par la Commission Européenne contre Google en 2017 pour avoir fa- vorisé Google Shopping dans les résultats des requêtes réalisées par son moteur de recherche. Il y a donc un impact sur le marché car les acteurs peuvent être manipulés pour servir d’autres intérêts que le leur (par exemple, un consommateur peut être privé de choix, enfermé dans une alternative servant les intérêts d’une entreprise ou guidé dans un comportement qui n’aurait pas spontanément été le sien).

T : Si on part du principe qu’il est nécessaire d’instaurer des règles, s’agit-il de gouverner l’algorithme en lui-même, son concepteur, son utilisateur ou encore un autre acteur ?

DLM : Pour préciser votre question, je parlerai plus volontiers de « système algorithmique » car l’algorithme est inséré dans un ensemble plus large qui lui permet de fonctionner et de produire ses effets. De plus, lorsqu’on parle d’algorithmes d’aide à la décision, on a tendance à oublier la phase de conception et d’apprentissage qui peut être à l’origine de nombreux dysfonctionnements.

De mon point de vue, les règles doivent avant tout porter sur celui qui met sur le marché et/ou qui opère le système algorithmique. Naturellement, l’algorithme n’est pas un sujet de droit mais il doit être un objet de régulation.

Les contraintes doivent donc peser sur les entités juridiques qui mettent l’algorithme sur le marché. Naturellement, en contraignant ceux qui tirent un bénéfice de l’algorithme, on reportera également des contraintes sur l’entité qui conçoit le système puis, indirectement, sur l’outil technologique lui-même. Par ailleurs, on pourrait renforcer les règles de gouvernance en fournissant des explications et des détails sur le fonctionnement du système algorithmique. Cependant, le cœur de la gouvernance doit se concentrer sur la personne centrale qui maitrise le système, c’est- à-dire la société qui le met ou l’opère sur le marché.

T : La loi du 6 octobre 2016 « pour une République Numérique » (dite « Lemaire ») met à la charge des opérateurs de plateformes en ligne des obligations d’information et de transparence sur les modalités de référencement, de classement et de déréférencement des contenus sur leur site internet : quel regard portez-vous sur ces obligations ? Faudrait-il étendre la règle à d’autres acteurs ?

DLM : Je pense que cette loi va dans le bon sens et que les mécanismes qu’elle prévoit sont vertueux. Parmi les obligations à la charge des opérateurs de plateformes en ligne, il y a celle d’intelligibilité qui impose que les informations concernant le fonctionnement de l’algorithme soient communiquées de manière lisible et intelligible. Cet aspect est déterminant car les utilisateurs ne sont pas des experts et il faut les protéger.

Peut-on être plus précis dans la loi ? À vrai dire, je ne sais pas car les modèles de plateformes sont très variés et il me semble difficile d’instaurer une règle générale.

Expliquer les algorithmes est également toujours compliqué car il y a une grande diversité de mécanismes et certains sont obscurs par construction. Cela ne veut pas dire qu’on ne peut pas fournir des informations plus claires, par exemple sur les « paramètres » qui déterminent la décision de l’algorithme, c’est-à-dire en détaillant davantage les critères décisifs pour les choix de l’algorithme.

On peut aussi imaginer de fournir des informations plus ou moins détaillées selon le public visé (ex : les consommateurs, les autorités, les comités d’éthique…).

Pour aller plus loin, il pourrait être intéressant de travailler sur les critères relatifs au classement : faudrait-il imposer une exigence d’exhaustivité ? Faudrait-il fournir les informations sur la pondération des critères ?

La loi Lemaire fait référence à la notion de « paramètres » sans insister sur celle de « pondération » alors même que cela est déterminant dans le fonctionnement de ces technologies.

D’ailleurs, je souligne que les obligations à la charge des administrations sont définies de manière beaucoup plus précise. Je comprends qu’il soit nécessaire de protéger les citoyens vis-à-vis des décisions de l’administration les concernant mais il n’en demeure pas moins que les obligations à la charge des plateformes pourraient être plus précises en introduisant cette exigence de pondération des critères.

À mon sens, les acteurs soumis à ces règles doivent être prudents dans la manière dont ils se mettent en conformité car les ingénieurs font du rétro engineering (pratique qui consiste à étudier un algorithme pour en déterminer le fonctionnement et la méthode de conception). Par exemple, des études ont été conduites sur Facebook et ont permis de démontrer que les informations fournies aux consommateurs étaient de nature à les induire en erreur car les critères de fonctionnement les plus importants n’étaient pas mis en avant et la liste n’était pas complète.

Il existe un risque que des sociétés fassent preuve d’une fausse transparence, ce qui ne manquera pas de se retourner contre elles.

T : Mais comment s’assurer d’une gouvernance effective des algorithmes ? Dans vos travaux, vous évoquez notamment la notion de « redevabilité » : de quoi s’agit-il ? Comment cette notion s’articule-t-elle avec celles de « transparence » et de « loyauté » ?

DLM : J’utilise le terme de « redevabilité » comme une traduction du terme anglais « accountability », lequel n’a pas de véritable équivalent en français. L’idée sous-jacente est de rendre des comptes et d’être responsable, ce qui peut prendre plusieurs formes. En effet, la transparence (par la fourniture d’informations sur la conception et le fonctionnement de l’algorithme), l’intelligibilité (par le biais d’explications et d’efforts de pédagogie) ou la loyauté (au sens de la « fairness » de la langue anglaise) sont autant de manières de rendre compte.

Cette notion de « redevabilité » me parait tout à fait appropriée car elle met au cœur des règles la capacité d’un acteur à être en mesure de justifier de la manière dont ses algorithmes sont conçus et que les finalités poursuivies sont précisément déterminées.

Pour mettre en œuvre cette notion, il me semble qu’il faille faire peser des exigences sur les personnes qui mettent les algorithmes sur le marché. On peut faire un parallèle avec le droit des données personnelles, en particulier le règlement européen du 27 avril 2016 (RGPD), qui utilise la même notion de « accountability » et de nécessité de démontrer sa conformité aux règles.

T : Et la notion de « neutralité », a-t-elle du sens pour un algorithme ?

DLM : Je serais méfiant vis-à-vis de l’usage de ce terme en relation avec les algorithmes. Par définition, un algorithme a vocation à hiérarchiser et classer, ce qui exclut la notion de « neutralité ». Je préfère dire qu’il ne doit pas être biaisé par rapport à certains critères et qu’il ne doit pas être discriminatoire.

T : Une fois qu’on a fixé les principes de redevabilité et de transparence à la charge de ceux qui mettent sur le marché des algorithmes, il faut vérifier que les opérateurs mettent en place des mesures pratiques pour respecter ces règles. Comment vérifier cela en pratique ?

DLM : C’est effectivement l’étape suivante du raisonnement. Si on dit que les opérateurs d’algorithmes sont redevables, il est légitime de s’interroger sur la mise en œuvre pratique de ce principe, en particulier en présence d’une réalité technologique complexe. À mon sens, cela passe par l’audit des algorithmes par des tiers indépendants et l’adoption de standards pour assurer une vérifiabilité des algorithmes.

Pour être complet, l’audit d’un système algorithmique doit porter sur (1) l’avant (c’est-à-dire la conception et les données d’apprentissage), (2) le pendant (c’est-à-dire l’analyse du fonctionnement effectif et du code en lui-même) et (3) l’après (c’est-à-dire l’analyse a posteriori des logs d’exécution).

T : Au-delà de cette méthodologie, pensez-vous que des standards seront adoptés ? Ne risquerait-on pas de brider l’innovation en limitant les possibilités des opérateurs économiques dans la manière de créer des algorithmes ? Si des standards étaient fixés, quelle serait l’autorité en charge de les déterminer ?

DLM : Sur ce point, je suis d’avis de séparer deux rôles : (i) d’un côté celui de garant des principes et (ii) de l’autre côté celui d’auteur des normes contraignantes. Pour le premier, il faut mettre sur pied un comité d’éthique qui a vocation à animer des débats et à établir une ou plusieurs chartes sur les questions clés relatives aux algorithmes. Pour le second, il faut adopter une logique d’audit et de certification.

Cependant, comme je le disais, il est très difficile de légiférer et de créer des standards généraux sur les algorithmes, de sorte que je ne crois pas qu’il soit possible, ni même souhaitable, d’avoir une autorité unique ou un certificateur de référence. En revanche, dans des secteurs très identifiés, il est possible d’imaginer des mécanismes de certification qui permettent de se rapprocher des pratiques existantes.

Par exemple, en matière médicale, il existe déjà une logique de certification pour les dispositifs médicaux et donc, pour les algorithmes, il serait intéressant que ces contrôles s’insèrent dans le cadre actuel. C’est également vrai dans le domaine de l’éducation où des logiciels déterminent l’affectation universitaire des étudiants à la sortie du lycée.

Il est nécessaire qu’une autorité indépendante de certification atteste du fonctionnement de ces algorithmes et du respect des règles en vigueur.

T : Si cela semble relativement facile à mettre en œuvre pour les algorithmes procéduraux (ceux qui sont une suite d’instructions), comment traiter ceux qui aident à la prise de décision : est-ce qu’il est nécessaire qu’un humain intervienne ? Peut-on laisser des algorithmes prendre des décisions seuls s’ils sont certifiés ?

DLM : C’est une question fondamentale mais la réponse ne relève pas tant de l’informaticien que du législateur. En effet, il s’agit d’un véritable choix de société : est-il légitime que des décisions importantes (comme l’octroi d’un prêt ou une décision de justice) soient rendues de manière 100% automatisée ?

Aujourd’hui, il n’y a pas de réponse pour les algorithmes. En revanche, nous pouvons faire un parallèle avec les données personnelles car il est désormais admis que toute personne a le droit de ne pas faire l’objet d’une décision automatisée lorsqu’elle a un impact significatif.

Pourtant, il existe déjà des algorithmes qui prennent, de manière totalement automatisée, des décisions qui nous affectent. Par exemple, les métros automatiques affectent de manière significative la vie des usagers mais on admet que ces algorithmes sont conçus avec suffisamment de précautions pour réduire le risque d’accidents. À ma connaissance, il n’y a jamais eu d’accidents en France avec des métros automatiques. Cela fonctionne très bien car, en amont, des moyens considérables ont été mobilisés pour s’assurer que les risques étaient minimisés.

C’est beaucoup plus compliqué lorsque la décision implique d’appréhender une personne humaine. Des exemples parlants sont la décision de justice et la décision médicale. Les choix à effectuer excèdent les capacités d’une machine qui ne peut pas apprécier la situation dans sa globalité et dans toute sa complexité. Pour ces cas spécifiques, il faut un humain dans la chaîne de décision car il serait trop dangereux de faire autrement.

T : Ce que vous dites nous inspire une question plus large : les systèmes automatiques modifient ils le comportement humain ? Nous rendent-ils moins intelligents ?

DLM: Cela dépasse mes compétences d’informaticien mais, à titre personnel, je considère que c’est un grand risque.

Pour s’en convaincre, il n’y a qu’à observer l’impact des logiciels d’aide à la navigation sur notre sens de l’orientation. En s’asseyant dans sa voiture, on ne se pose même plus la question de la destination et on rentre machinalement une adresse sans appréhender ou réfléchir à la géographie. Ce faisant, on se repose intégralement sur la technologie et, quelques fois, à tort…

Dans d’autres domaines, on peut imaginer des questions très sérieuses et graves concernant l’usage d’algorithmes d’aide à la décision. Prenons l’exemple d’un médecin qui utilise un outil d’aide au diagnostic ayant la réputation d’être très fiable. Qui osera prendre une décision contraire à la machine ? Plus l’humain utilisera l’algorithme, plus il sera conservateur dans sa prise de décision.

Il me semble déterminant que les professionnels qui utilisent ces outils soient informés des critères de fonctionnement pour les critiquer et, le cas échéant, s’en départir.

partager cet article
Partager sur

Ce site utilise des cookies d'audience afin d'améliorer la navigation et les fonctionnalités.