Des biais de tous côtés.

Approche conceptuelle et documentée de Michel Murarotto, professeur de philosophie, IAN (Interlocuteur Académique pour le Numérique) et Webmestre de Le Région académique de Bourgogne Franche-Comté en philosophie, Coordinateur TraAM, incluant une série de podcasts indépendants générés par notre équipe TraAM de Besançon 2021-2022.

Préambule sur les biais algorithmiques

Notre approche sera celle de l’orientation des décisions du juge par un soutien algorithmique afin de savoir si cela permettrait un gain d’objectivité et de justice. On se demandera si les biais algorithmiques (sélection ou utilisation des données) ne réintroduisent pas nécessairement une part de subjectivité et si on peut supprimer autrement qu’en apparence la subjectivité de juges humains.

Définition préliminaire

« Biais algorithmique

Un biais algorithmique est un défaut dans le fonc­tionnement de l’algorithme qui tend à traiter diffé­remment et de manière incohérente, voire injuste, les situations ou les individus. On parle aussi de «discrimination technologique » quand il s’agit d’injustice de traitement des Hommes. Ces biais algorithmiques proviennent d’un biais dans les don­nées d’apprentissage ou de calibration qui ne sont pas statistiquement représentatives, des critères ou des hypothèses faites sur la logique de l’algorithme. Dans tous les cas, ces biais proviennent souvent de nos biais cognitifs à nous êtres humains, qu’on soit concepteurs de ces algorithmes ou simples utilisa­teurs dont nos données souvent biaisées orientent maladroitement l’algorithme. »

Aurélie JEAN ; Les algorithmes font-ils la loi ?; Paris, Editions de l’observatoire, 2021 ; Glossaire, pp. 209-210.

I) Les biais des Juges

En se se référant à une Intelligence Artificielle et à des algorithmes pour prendre des décisions de justice, on prétendrait s’affranchir de l’opinion personnelle du juge et donc de la subjectivité du jugement. En effet, les décisions des juges peuvent reposer sur des critères subjectifs et personnels.

 Des biais « subjectifs » peuvent apparaître, provenant du caractère du juge, de son éducation, de ses idées personnelles ou de son appartenance sociale. Des biais « personnels » fondés sur des  critères extérieurs comme l’apparence physique du défendeur, sa nationalité, ses relations, sa position sociale apparaissent également possibles.

Voir sur ce point les stratégies de connivences (entre magistrats et avocats) sur lesquelles peuvent se fonder les jugements abordés dans le Podcast indépendant réalisé par l’équipe TraAM de Besançon 2021-2022, avec Bruno Kern Avocat spécialisé dans les affaires publiques.

Les biais des juges peuvent être aussi « implicites » et travailler dans leur représentation contre l’idée qu’ils se font (négativement ou positivement) du jugement de la machine elle-même. Par exemple, une expérience américaine demandait à 340 juges de décider des peines pour des affaires de drogue fictive. La moitié des juges a estimé que le défendeur présentait un risque élevé de récidive et décidé du placement en détention provisoire et l’autre moitié des juges n’a pas estimé le risque assez élevé et prônait leur remise en liberté. Si le juge estime ne pas avoir confiance en l’algorithme, cela biaisera fatalement son jugement. Restreindre fortement l’usage des algorithmes sur la suspicion qu’ils pourraient avoir des biais, c’est possiblement se priver de nouveaux outils pouvant objectiver nos décisions.

De manière plus générale, l’utilisation des techniques, des intelligences artificielles et a fortiori des algorithmes par une autorité judiciaire ne serait jamais neutre, le numérique n’est pas un outil docile pouvant être mis en oeuvre uniquement par la volonté de son utilisateur sans transformation de celui-ci. La technique n’est pas constituée, elle est constituante. Vouloir échapper aux biais des juges en utilisant des aides algorithmiques changerait celui qui les utilise dans une forme de boucle rétroactive mais ne garantirait ni l’objectivité du jugement produit, ni la réduction des biais de départ.

Le concept de « standard » en droit : quand le traitement juridictionnel de normalité produit des visions et des traitement divergents.

Le standard au sens commun signifie rechercher l’uniformisation et faire disparaître la diversité des faits sous la norme de ce qui doit être fait. Le standard impose en quelque sorte un devoir-être et un devoir-faire et un glissement du devoir-être vers le devoir-faire. On comprend aisément comment, à partir de la récoltes de données du big data, on pourrait, par induction, prédire un devoir-faire. Les visions divergentes ne seraient considérées hors du droit et le droit prédominerait sur le fait. La norme est ce que tout le monde fait, ce qui se fait le plus souvent. L’outil numérique serait donc un puissant vecteur de normativité au sens où nous l’évoquons de devoir-faire au nom du droit (lui-même fondé en statistiques moyennes uniformisées de ce qui se fait le plus souvent). Nul doute que le traitement de l’outil numérique par la voie de la quantification saura nous donner des conduites redondantes, communes, uniformes, mais sans réflexion sur ce qui doit être fait ou non et au nom de quelles valeurs. Le danger serait de confondre l’uniformité avec un devoir- être fondé en statistiques.

Le standard au sens juridique est souvent présenté comme permettant, par son imprécision, de laisser cohabiter des visions divergentes, ainsi que de laisser le fait prédominer sur le droit. Il est ainsi conçu comme une des techniques à privilégier pour l’articulation des droits dans un monde juridique globalisé. Or le standard au sens juridique et le standard au sens commun ne sont pas identiques. Le mouvement est en fait inverse : le standard juridique permet d’adapter tout raisonnement à la diversité des faits de l’espèce, alors que le standard au sens commun va entraîner au contraire l’uniformisation et la disparition de la diversité des faits. L’idée principale ici est que le standard au sens juridique, dans la mesure où il implique nécessairement un recours à une réflexion sur la normalité, appelle intrinsèquement à un jugement de valeur qui ne peut être calculé, numérisé ou quantifié. La raison en est qu’un jugement de valeur implique nécessairement le recours à une certaine morale ou à d’autres champs disciplinaires comme la sociologie, l’histoire ou la philosophie. La norme ici serait ce qui doit être fait. Mais pour savoir ce qui doit être fait, s’il faut ou non utiliser des biais, il faut une méta-connaissance permettant de juger de ce qui se fait le plus souvent et statistiquement (standard au sens commun), à un niveau sociologique, philosophique, historique, politique, moral. Cette perspective proprement humaine entraîne des biais (ceux des juges) qui pourraient bien s’avérer nécessaires.

Dans l’idéal, l’intelligence artificielle, en se fondant seulement sur des critères objectifs et des calculs, permettrait de s’affranchir de ces biais. Des économies de temps et d’argent générées par la prise de décision par l’intelligence artificielle, et le résultat sur la société n’en serait que meilleur, à condition que les algorithmes eux-mêmes ne comportent pas d’autres biais. Mais on comprend que d’un point de vue théorique va se poser un problème majeur : le droit et la loi ne seront plus constitués par les hommes à la faveur d’une lecture citoyenne, mais elle sera constituée par de ingénieurs informatiques ayant pour but le fonctionnement maximal des algorithmes avec la somme des biais que cela implique.

Ecouter sur ce point la première partie du Podcast Indépendant de l’équipe TraAM de Besançon 2021-2022 réalisé avec Antoine Garapon, Magistrat, en marge des journées philosophiques de Langres 2021 sur le thème de la justice.

II) Les biais algorithmiques

« Noam Chomsky parlait d’autodéfense intellec­tuelle pour combattre toute fabrique du consen­tement. Je me suis souvenue de ses textes qui me rappelaient notre faiblesse à tous : croire a priori sans aucun acte de rébellion intellectuelle ce qu’on nous dit, ce qu’on voit et ce qu’on apprend. Moi qui avais toujours pratiqué cette autodéfense intellectuelle vis- à-vis du travail des autres scientifiques, je devais éga­lement me méfier de moi-même. Je devais remettre en question ce que je pensais et ce que je percevais de la réalité avant de la simuler numériquement. La suite de mon parcours allait me le montrer : les biais sont partout. En médecine, mais aussi en finance, en économie ou encore dans le journalisme (…).

Comprendre l’origine des biais dans nos comportements sociaux, c’est comprendre une partie des  mécanismes des biais algorithmiques : comment ils  s’introduisent, puis se propagent dans les simulations numériques que nous produisons et les technologies  que nous utilisons. Depuis notre enfance, nous déve­loppons des biais cognitifs. Certains proviennent de notre culture et de notre environnement ; d’autres se forment au gré de nos expériences. Les biais algorithmiques résultent de ces biais cognitifs. On les retrouve dans les algorithmes et les modèles, mais aussi dans les données utilisées pour calibrer ces algorithmes – voire les «entraîner », dans le cas de l’intelligence artificielle apprenante (ou machine learning).

Comprendre ce passage de « nos » biais aux biais algorithmiques est essentiel pour porter un regard critique sur les technologies qui nous entourent aujourd’hui. »

Aurélie JEAN ; De l’autre côté de la machine ; Paris, 2019, Editions de l’observatoire, p.97.

Malheureusement les algorithmes sont eux aussi, et ce, dès le code source, créés par les codeurs, constitués par des biais possibles. Ces biais sont techniques, sociétaux ou culturels et historiques.

En langage technique, le biais d’un algorithme est l’écart moyen entre sa prédiction et la valeur que l’on cherchait à prédire. Un fort biais signifie que l’algorithme manque de relations pertinentes entre données d’entrée et de sortie pour effectuer des prédictions correctes. Ces «biais techniques» peuvent être pris en compte par les ingénieurs, car ils viennent directement diminuer la performance de l’algorithme.

Mais l’algorithme peut être très performant techniquement tout en étant «biaisé» d’un point de vue social. Ces biais sont considérés comme des discriminations car ils sélectionnent et arbitrent souvent en défaveur de populations déjà défavorisées. Ces «biais de société» sont en fait la reproduction via l’algorithme de biais déjà présents au sein de la société.  La distinction entre biais techniques et biais de société est importante car ceux-ci n’attirent pas la même attention de la part des développeurs. Curieusement, il se pourrait bien que suivre les biais de société permette à l’algorithme d’être plus performant. Coller aux stéréotypes d’une société pourrait bien maximiser les préjugés de la majorité et conduire à une coercition sociale injuste.

Voir sur ces points techniques le Podcast Indépendant réalisé par notre équipe TraAM de Besançon avec un ingénieur informatique opérant au palais de Justice.

Les biais des algorithmes peuvent aussi être des décisions conscientes visant à soutenir une stratégie d’entreprise. Google a été condamné à une amende de 2,4 milliards d’euros pour avoir favorisé ses propres produits dans les résultats de recherche de Google Shopping au détriment de ses concurrents. L’algorithme était donc volontairement biaisé.

Relativement aux « biais historiques », il faut aussi reconnaître que les algorithmes sont conçus à partir de données historiques (par exemple sur la criminalité). Ainsi, les populations qui ont été historiquement recensées par les forces de l’ordre comme les minorités et les communautés à faible revenu vont statistiquement produire un jugement de récidive plus élevé et vont mécaniquement placer ces minorités en détention provisoire. A ce titre, le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) mis en place aux Etats-Unis devait permettre d’évaluer la probabilité de récidive d’un prévenu grâce à un système de notation allant de 1 à 10 en répondant à la question suivante : « L’accusé possède-t-il un téléphone personnel ? A-t-il pour habitude de payer ses factures en retard ? », etc. Ce logiciel a fini par classer les populations afro-américaines avec un un taux de récidive deux fois supérieur à celui des autres populations. La machine ne fait que reproduire un biais racial non conçu par les concepteurs et présent dans le code source en reproduisant les préjugés sociaux ou culturels. Dans ce cadre, les algorithmes ne seraient que des « aides » au jugement et non pas des «juges».

Au-delà des biais cognitifs et affectifs, les biais « économiques » forment un autre type de biais présent dans la société. Un algorithme peut contenir un biais volontairement ou involontairement orienté par des raisons de stratégie financière, la justice ne faisant pas exception à la pression de la gestion des budgets.

Malgré le risque de biais dans certains cas, les algorithmes pourraient être à bien des égards, un progrès en matière de lutte contre les discriminations. Les hommes et les femmes portent régulièrement, bien que parfois inconsciemment, des jugements biaisés. Ils sont inconstants dans leurs décisions et les juges ne font pas exception. Utiliser un algorithme à bon escient reviendrait à formaliser des règles applicables à tous, à en mesurer les résultats et donc à se donner les moyens d’assurer l’absence de biais.

Même à supposer que les algorithmes ne soient jamais des outils neutres, et qu’ils pourraient toujours perpétuer ou consolider une discrimination antérieure. Ils permettraient peut-être aussi de mesurer avec précision un biais qui serait découvert, et dont l’ampleur serait jusqu’alors restée cachée. Chaque nouvel algorithme serait ainsi l’occasion de révéler un peu plus les formes que prennent les inégalités dans nos sociétés.

III) Une aide à la prise de décision comportant des biais, peut-elle au final orienter le jugement de décision en favorisant d’autres biais? : quand les biais entraînent d’autres biais.

On peut bien reconnaître dans un premier temps que les algorithmes sont des outils d’aide aux professions juridiques qui permettraient, à partir du traitement de données de jurisprudence, d’anticiper l’issue d’un procès ou d’affiner une stratégie judiciaire. Ils permettraient ainsi de :

• générer des connaissances en mettant en évidence par exemple des manières différenciées de rendre la justice selon les régions.
• Prédire la chance de succès d’un procès en calculant le potentiel de dommages ou intérêts.
• Recommander des solutions de médiation en fonction du profil des personnes et des cas similaires passés par l’utilisation de banques de données fiables.
• Suggérer au juge la solution jurisprudentielle la plus adéquate pour un cas donné.

Mais tout comme le médecin est seul juge et habilité à établir un diagnostic qui, autrement, relèverait de l’exercice illégal de la médecine, le juge ne saurait déléguer, aussi performant que soit l’algorithme,  son jugement à un système automatisé.

Dans cette perspective, le calcul algorithmique est seulement présenté comme une « aide » à la prise de décision du juge. Mais ce point juridique ne cesse pas pour autant de poser problème : comment savoir si le jugement n’a pas été purement et simplement influencé par la machine ou si le juge ne finira pas par se ranger du côté des statistiques pour minimiser son propre risque de jugement, ou si par un quelconque présupposé, il n’ira pas à l’encontre systématique de la proposition d’aide de la machine. Un jugement n’étant jamais neutre, il est fortement possible que cette aide algorithmique ne fasse que produire d’autres biais à partir de ceux déjà connus ou probables de l’homme et de la machine. Ainsi au lieu de réduire les biais humains par la machine, on multiplierait les biais humains par les biais de la machine. On pourrait aboutir, au mieux à la déresponsabilisation de l’homme, à sa perte d’autonomie et au pire, à une génération de biais, de l’homme par la machine et de la machine par l’homme, qui ne cesseraient de se multiplier en s’approfondissant de façon abyssale.

Dans ce cas, se poserait alors la question de la responsabilité du jugement produit dans cette collaboration entre l’homme et l’algorithme . Celle-ci pourrait-elle être reportée sur la machine elle-même, qu’il s’agirait alors de doter d’une personnalité juridique ? Sur ses concepteurs ? Doit-elle être uniquement assumée par le juge ? Quand bien même on trouverait une solution juridique à ce problème juridique, cela aboutirait peut-être tout de même à une  déresponsabilisation de fait, au développement d’un sentiment d’irresponsabilité ou à la multiplication de biais dans la décision de justice, la fragilisant concrètement.

Les algorithmes d’apprentissage de la machine apparaissent comme de véritables boîtes noires, dont le fonctionnement reste obscur à leur concepteur. Des dizaines de variables peuvent être fournies à un algorithme, charge à lui de trouver les combinaisons et les pondérations les plus appropriées. Il n’existe pas toujours de solution pour rendre intelligible le résultat donné, ou pour expliquer pourquoi l’algorithme produit un résultat et non un autre.

Les biais peuvent devenir auto-réalisateurs. On a observé que les biais de discrimination ont par exemple un effet auto-réalisateur, les groupes discriminés étant amenés à se conformer aux stéréotypes en vigueur. Une enquête dans les supermarchés français a ainsi montré qu’être exposé à des managers ayant des biais importants affecte négativement les performances au travail du personnel appartenant à des minorités. Lorsque les horaires de travail de personnes issues de minorités coïncidaient avec ceux des managers ayant des stéréotypes, les caissiers validaient les articles moins rapidement,  étaient plus souvent absents et quittaient le travail plus tôt, ce qui conduisait à des salaires plus réduits dans un environnement où la norme est le salaire horaire.
Les managers exprimant des stéréotypes ne traitaient cependant pas différemment les employés issus de minorités, mais semblaient simplement passer moins de temps avec eux. Ainsi, les stéréotypes n’ont même pas besoin de guider l’action explicite des managers pour avoir un impact sur les écarts salariaux et sur les habitudes de recrutement. Face à ce type de risque, il n’est pas possible de limiter l’analyse des biais des algorithmes aux biais techniques : la réflexion doit intégrer pleinement le risque de transmission de biais de société qui sont de nature multiple.

IV) Mieux configurer le code source de l’algorithme pour éviter les biais.

Pour répondre à la dilution de la responsabilité du jugement du juge dans le cas où des biais seraient induits, l’apparente solution serait de vouloir mieux paramétrer le code source de l’algorithme. Les choix et les décisions de justice se trouveraient tout simplement déplacés au stade du paramétrage de l’algorithme. Ceux qui maîtrisent le code informatique deviendraient les véritables décideurs et là se profile le risque que le pouvoir du juge se trouve déplacé et concentré dans les mains d’une « petite caste de scribes » (Antoine Garapon, événement de lancement du débat, le 23 janvier 2017). Quel juge aura les compétences techniques pour entrer dans les détails de la conception d’un algorithme pour en saisir toutes les étapes techniques depuis la conception du système (paramétrage, développement, codage), jusqu’à sa mise en pratique automatiquement pour comprendre les choix qu’il opère in fine? Il est pourtant essentiel, si on veut préserver la responsabilité du jugement du juge que ces étapes de conception soient saisissables par l’humain et ne s’autonomisent pas exagérément au point de devenir le lieu de la prise de décision.

On redouble la difficulté si on considère que la machine apprend d’elle-même car il faudra que le juge puisse comprendre le fonctionnement, pas à pas, étapes par étapes du mode de production de l’aide algorithmique qui lui est fournie. La question du lieu de la responsabilité et de la décision se pose de façon accrue lorsqu’il s’agit de systèmes de machine learning. Il faudra que le juge puisse aborder, sans se méprendre, la chaîne de responsabilité, depuis le concepteur du système jusqu’à son utilisateur, en passant par celui qui va entraîner ce système apprenant. Répartir la responsabilité entre ces différents maillons de la chaîne est un problème qui relève autant de l’humain (détection des biais sociétaux, culturels, subjectifs) que techniques. Si on conditionne l’utilisation de l’intelligence artificielle à la capacité d’attribuer de façon absolument claire cette responsabilité, on pourra parier que peu de juges seront capables de marier toutes les compétences relevant à la fois de l’humain et de la connaissance de l’algorithme.

Les machines font moins d’erreurs que les humains mais elles font des erreurs là où des humains n’en auraient pas fait. La voiture autonome de Tesla n’aurait jamais eu ce type d’accident en étant conduite par un humain. Faut-il rendre le juge responsable des défaillances du système algorithmique ou faire endosser la responsabilité à l’utilisateur lui-même?

Des biais peuvent s’inviter dans l’opération d’entraînement des algorithmes, à travers la sélection qu’elle suppose des données à prendre en compte. Ce n’est pas le juge qui choisit quelles données sont utilisées pour les phases d’apprentissage de l’algorithme et cette tâche est ordinairement automatisée et contrairement au codage d’un algorithme classique et déterministe qui est toujours une opération délibérée, le processus d’entraînement d’un algorithme contient la propre vision du monde du codeur, ses valeurs (inconscientes et subjectives) ou, des valeurs (sociologiques et culturelles) présentes plus ou moins directement dans les données tirées du passé. La chercheuse Kate Crawford, a ainsi mis en évidence l’endogamie sociale, raciale et de genre qui caractérise les milieux où se recrutent les codeurs qui entraînent aujourd’hui l’intelligence artificielle et créent les nouveaux algorithmes. Etant faits de façon pratiquement inconsciente, ces biais et ces discriminations sont souvent particulièrement difficiles à découvrir. Inconscients chez les codeurs qui sélectionnent les données, ils peuvent être imperceptibles pour les utilisateurs. Les algorithmes seraient des « conducteurs » de biais, ils ne feraient que les répéter en produisant un effet de levier en les démultipliant. Un juge serait alors incapable de repérer ces biais dans l’aide que pourrait fournir un algorithme. L’impact serait alors possible sur la personne jugée mais aussi, à supposer que le processus se répète et se démultiplie, sur la société elle-même.

Les biais algorithmiques conduisant à des discriminations sont rarement dus à un code erroné de l’algorithme. Les données sont souvent incomplètes, de mauvaise qualité, ou reflétant les biais présents dans la société, sont le plus souvent à l’origine de ces biais. Le combat des biais algorithmiques doit être conçu comme un combat contre des discriminations déjà existantes au quotidien. Les biais algorithmiques redoublent les biais existants. L’enjeu serait double : produire des algorithmes équitables et de réduire les discriminations dans la société. Cela éviterait que les biais algorithmiques, eux-mêmes fondés sur des biais sociétaux et subjectifs, ne produisent d’autres biais.

Mais cet enjeu, dès lors qu’il voudrait se muer en combat conscient n’est-il pas voué à l’échec ?  Définir ce que serait un algorithme sans biais est peut-être naïf.

Cela tient bien évidemment à la nature du biais, s’il était si facile de la débusquer et de la dénoncer, il serait écarté dès le début. Mais plus encore, certains biais sont volontaires, comme le fait de promouvoir les boursiers dans le cursus scolaire.  D’autres biais sont inconscients et conduisent à discriminer certains groupes. Un algorithme traitant les individus de manière équitable s’approche d’un algorithme sans biais indésirables, sans pour autant le garantir, si un inconscient collectif est au coeur du code source. L’appréciation de ce qui est juste comporte une dimension culturelle et morale et une correction incessante (d’une raison corrective) ne saurait être laissée à la machine. L’équité totale entre individus et l’équité totale entre groupes sont mathématiquement incompatibles. Il y aura toujours des choix à faire, des choix de société, des choix politiques, aucun juge ni aucun homme n’y échappe.

Un algorithme qui réduirait une discrimination sans la faire totalement disparaître serait probablement jugé insuffisant au regard de nos idéaux. Et plus nous faisons de progrès vers l’égalité, plus l’inégalité nous paraît intolérable. C’est le paradoxe que dénonçait Tocqueville :

«Chez les peuples démocratiques, les hommes obtiennent aisément une certaine égalité; ils ne sauraient atteindre celle qu’ils désirent. Celle-ci recule chaque jour devant eux, mais sans jamais se dérober à leurs regards, et, en se retirant, elle les attire à sa poursuite. Sans cesse ils croient qu’ils vont la saisir, et elle échappe sans cesse à leurs étreintes. Ils la voient d’assez près pour connaître ses charmes, ils ne l’approchent pas assez pour en jouir, et ils meurent avant d’avoir savouré pleinement ses douceurs.»

Tocqueville, De la démocratie en Amérique.

V) Le concept de Loyauté : comment les biais persistent malgré la bonne foi.

Dans son étude annuelle de 2014 sur le numérique et les droits fondamentaux, le Conseil d’État a ainsi formulé trois recommandations invitant à « repenser les principes fondant la protection des droits fondamentaux ». Parmi celles-ci, la première portait sur un principe d’ « autodétermination informationnelle » garantissant la maîtrise de l’individu sur la communication et l’utilisation de ses données personnelles, principe qui a été introduit depuis, dans la loi pour une République numérique. La troisième portait quant à elle sur le principe de « loyauté », appliqué non pas à tous les algorithmes mais, de manière plus restreinte, aux « plateformes ».  Selon le Conseil d’État, « la loyauté consiste à assurer de bonne foi le service de classement ou de référencement, sans chercher à l’altérer ou à le détourner à des fins étrangères à l’intérêt des utilisateurs ». Parmi les obligations, on retiendra la deuxième obligation qui fait de l’information sur la logique de fonctionnement de l’algorithme une obligation incombant à la plateforme (ce n’est pas seulement un droit que l’utilisateur peut choisir ou non de mobiliser). Avec la loyauté ainsi définie, on accorde par ailleurs moins un droit aux utilisateurs qu’on impose une obligation à l’égard des responsables de traitement. Tout cela suppose que ces informations soient fournies de manière « loyale » et que le comportement de l’algorithme y corresponde effectivement, ce qui est justement remis en cause par la présence de biais techniques mais surtout de biais sociétaux et culturels qui passeront inaperçus en toute bonne foi. L’intérêt du principe de loyauté tel qu’il est envisagé par le Conseil d’État réside dans la notion d’ « intérêt des utilisateurs ». Comme il ne s’agit pas que l’algorithme dise ce qu’il fait et fasse ce qu’il dise, ce principe de loyauté limite seulement la liberté que le responsable de l’algorithme (plateforme, codeur) a de déterminer les critères de fonctionnement de ce dernier. Les biais ont encore, dans ce cas, un bel avenir.

Entre les biais proprement humains et les biais induits par les algorithmes : quelles voies sont possibles? Entre l’automatisation totale des décisions de justice et la voie traditionnelle sans aucune aide algorithmique, y a-t-il une troisième voie ?

D’un côté le refus total et sans appel d’une aide algorithmique des décisions de justice ne permet pas de s’affranchir des biais subjectifs et implicites, mais d’espérer qu’un programme puisse «prédire» un jugement sans l’action du juge, indépendamment des problèmes éthiques de la dépossession du juge et de son office. D’un autre côté, il ne faut pas négliger le fait que cela n’ôtera pas la capacité de la machine à produire et reproduire des biais fondés sur la récurrence des biais passés.

Si l’introduction de la « justice prédictive » doit se faire, elle ne se fera qu’en douceur dans un rythme adapté à la mesure des problèmes nombreux posés par ces techniques et par la capacité de maîtriser ces changements pour l’ensemble de la communauté juridictionnelle.

Entre une approche traditionnelle et une approche algorithmique autonome de la justice, il y a des nombreux niveaux que l’on pourrait envisager, à l’instar de ce qui est proposé pour le véhicule autonome qui ne deviendra pas autonome du jour au lendemain.

Il est possible de schématiser cette évolution de la façon suivante en notifiant les biais qui peuvent être associés  :

Niveau 1 : Utilisation massive des bases de données. Ce niveau 1 correspond à l’évolution de de la base de données Ariane en juridiction. Nous avons donc atteint ce niveau 1 aujourd’hui. La mission chargée de l’ouverture des données publiques a signé un partenariat avec le groupe Lefebvre Sarrut pour accéder à son application d’anonymisation des décisions de justice, condition préalable à leur publication en open data. Un défi de taille puisqu’une infime partie des décisions rendues chaque année sont publiées aujourd’hui sur internet.

Niveau 2 : Des analyses sur les bases de données un peu plus sophistiquées, comme par exemple des analyses des liens entre les décisions qui forment la jurisprudence (voir le site de Marc Clément www.lawdataworkshop.eu) ou encore les analyses de type Ross (IBM Watson). On peut considérer que ce niveau de développement est aujourd’hui possible.  Il présente l’intérêt de permettre de mieux naviguer dans des ressources juridiques considérables (voir l’article de M. Genesereth de l’Université de Stanford « Computational Law, the Cop in the Backseat » https://law.stanford.edu/publications/computational-law-the-cop-in-the-backseat/).Exemple du réseau des décisions des tribunaux administratifs des Nations Unies et du tribunal d’appel (source www.lawdataworkshop.eu, requête « compensation AND Vacancy »)

Niveau 3 : Une sélection automatique des jurisprudences pertinentes à partir d’un problème posé ou par classe de problèmes à partir d’une description succincte du cas à traiter.

Niveau 4 : Des propositions de raisonnements alternatifs. En complément du niveau précédent, il s’agit de proposer des scénarios de résolution de problèmes.

Niveau 5 : Une décision automatisée pleine et entière donnant à la machine  une autonomie pleine et entière.

Chacun de ces niveaux pose des questions sérieuses d’appropriation des outils par le juge : la question n’a pas été réellement abordée pour le niveau 1 alors même que le travail du juge est déjà profondément modifié par rapport à ce qu’il était il y a quelques années. Des niveaux d’automatisation plus élevés modifient le travail du juge en profondeur, comme nous l’avons relevé plus haut en affirmant que la technique est constituante. De plus, ces outils ne seront pas des outils réservés aux seuls juges : de fait, aujourd’hui ils sont principalement développés à destination des avocats. Il sera difficile de ne pas disposer du même niveau d’outils pour les juges. C’est pourquoi la question de l’open data a bien pour effet potentiellement d’influencer le travail de toutes les juridictions et de la société elle-même.

VI) L’alternative à une autonomisation progressive de la décision de l’algorithme serait l’hybridation du jugement humain afin de repenser l’obligation d’intervention humaine subjective dans la prise de décision algorithmique

Suite à des nombreux débats menés à la suite de la concertation citoyenne organisée à Montpellier par la CNIL le 14 octobre 2017, La CNIL propose des recommandations afin de « garder la main ».

On retiendra avantageusement les points suivants :

• RECOMMANDATION 1

Former à l’éthique tous les maillons de la « chaîne algorithmique » : concepteurs, professionnels, citoyens.

1. Formation des concepteurs d’algorithmes
2. Formation des professionnels utilisateurs d’algorithmes
3. Sensibilisation des acteurs publics à la nécessité d’un usage équilibré et « symétrique » des algorithmes

RECOMMANDATION 2
Rendre les systèmes algorithmiques compréhensibles en renforçant les droits
existants et en organisant la médiation avec les utilisateurs

RECOMMANDATION 3
Travailler le design des systèmes algorithmiques au service de la liberté humaine

RECOMMANDATION 4
Constituer une plateforme nationale d’audit des algorithmes

RECOMMANDATION 5
Encourager la recherche de solutions techniques pour faire de la France le leader de l’IA éthique

1. Favoriser l’explication sur le fonctionnement et la logique des algorithmes.
2. Développer des infrastructures de recherche respectueuses des données personnelles
3. Lancer une grande cause nationale participative pour dynamiser la recherche en IA

RECOMMANDATION 6
Renforcer la fonction éthique au sein des entreprises

On voit donc la nécessité d’assurer un rôle de veille en continu pour identifier les problèmes émergents, imperceptibles ou inaperçus au départ. L’existence des biais algorithmiques et humains résume à la fois l’urgence de cette prise de conscience et l’urgence de la nécessité de s’emparer collectivement et politiquement de la question.

Sur la question d’une ressaisie de l’humain sur la machine et les algorithmes, on écoutera le Podcast Indépendant réalisé par l’équipe TraAM de Besançon 2021-2022 avec Amélie Baumont, Avocate spécialisée dans les affaires familiales qui donne ici un exemple et sa critique.

Pour finir sans en finir

Nul ne saurait dénier que l’homme est un être technique : il se doit de médiatiser son rapport au monde et aux autres par des artefacts très divers, dont les algorithmes font partie désormais. Donc la question n’est jamais d’être pour ou contre la technique ni pour ou contre les algorithmes, qui rappelons-le, ne sont qu’une manière de résoudre des problèmes constitués généralement par des datas que l’esprit humain aurait bien du mal à gérer seul.

Il faut donc rentrer un peu plus dans le détail en évitant une position manichéenne : de quelle technique parle-t-on en présence des algorithmes, pour quoi faire et au service de quel type de projet collectif ? C’est en cela que depuis la révolution industrielle, et maintenant numérique, la technique, et désormais les algorithmes ont été mis de côté du débat démocratique, en étant présentés comme une force interne qui accompagnait nécessairement l’évolution des sociétés, indépendants et portés par une sorte de rationalité propre. Cette conception n’est en vérité qu’une construction culturelle, la nôtre, et c’est elle qui justement nous empêche d’interroger nos choix techniques algorithmiques.

L’enjeu majeur qui devrait se poser à nous, en tant que sociétés, est donc de soumettre de nouveau nos choix techniques, c’est-à-dire nos choix de société, à la délibération démocratique et de poser les termes du débat de manière moins caricaturale que l’opposition qui est habituellement faite entre technophiles et technophobes, entre pro-algorithmes et anti-algorithmes. Le tournant de toute innovation doit inviter à poser la question en sortant d’une alternative trop simpliste.

La question sera plutôt de savoir, et la présence des algorithmes impose de le faire,  interroger la trajectoire dominante prise par l’utilisation et la démultiplication de ces algorithmes dans de multiples champs, en se demandant ce qu’on doit, socialement et politiquement, s’inventer comme futur. Il ne ne s’agit pas de s’opposer à la technique et au changement mais de ne pas se laisser leurrer par les fausses promesses d’une solution technologique algorithmique et d’une société gérée par des algorithmes risquant de diminuer nos capacités d’autonomie d’action et de pensée. Cela nous invite à réfléchir au type de société que nous voulons et à nous interroger sur toutes les implications des innovations qu’on nous somme d’adopter sans y penser.

Par Michel Murarotto