603 lines
94 KiB
Plaintext
603 lines
94 KiB
Plaintext
---
|
||
title: "Chapitre VII — Gestes archicratiques concrets pour un système d’IA"
|
||
edition: "cas-ia"
|
||
status: "application"
|
||
level: 1
|
||
version: "0.1.0"
|
||
concepts: []
|
||
links: []
|
||
order: 180
|
||
summary: ""
|
||
source:
|
||
kind: docx
|
||
path: "sources/docx/cas-ia/Cas_Pratique-Archicratie_et_gouvernance_des_systemes_IA-Chapitre_7_Gestes_archicratiques_concrets_pour_un_systeme_IA.docx"
|
||
---
|
||
# VII. Gestes archicratiques concrets pour un système d’IA
|
||
|
||
Jusqu’ici, notre cas pratique a surtout pris la forme d’un diagnostic : mettre Système F en scène, le suivre dans ses topologies de scènes pauvres ou hypertrophiées, le replacer dans la généalogie des méta-régimes, le confronter à de grandes morphologies du pouvoir, mesurer ses effets sur la *co-viabilité sociale et écologique*, et nommer la *tendance autarchicratique* qui en résulte. La Partie VII change légèrement de registre. Elle ne rajoute pas une couche de théorie, elle n’empile pas un “programme politique” sur un diagnostic déjà dense ; elle tente autre chose : prendre au sérieux les gestes archicratiques formulés par la thèse en les traduisant, point par point, dans l’architecture concrète d’un grand système d’IA.
|
||
|
||
Dans la conclusion générale de l’essai-thèse, ces gestes – *droit au différé, journal de justification, visas d’affectation, coupe-circuits, tribunaux dédiés, assemblées d’affectation, budgets scéniques, principes de révision et cartographies des scènes manquantes* – étaient présentés comme des *manières de rouvrir la scène là où la régulation tend à se refermer sur ses propres instruments*. Ici, ils deviennent le cœur d’un manuel d’usage de Système F : non plus des principes abstraits, mais des dispositifs à instituer, des séquences à préciser, des contraintes à inscrire dans le droit, dans l’organisation, dans les interfaces elles-mêmes. L’enjeu n’est pas de moraliser l’IA par quelques garde-fous, mais de montrer ce que cela change, très concrètement, de poser qu’aucun module de scoring, aucun pipeline décisionnel, aucune métrique de performance ne peut être légitime sans les scènes où il accepte de comparaître.
|
||
|
||
La Partie VII adopte donc un rythme différent : chaque section partira d’un geste archicratique déterminé et le déploiera dans le monde de Système F. Le *droit au différé contradictoire*, d’abord, sera formulé comme *exigence minimale autour de toute décision substantielle appuyée par IA*, avec la question des *délais*, des *instances* et des *modalités d’accès au dossier* (VII.1). Le *journal de justification* des modèles et de leurs déploiements, ensuite, sera envisagé comme *support matériel de la comparution* : *pourquoi ce modèle, pourquoi cette métrique, quelles alternatives écartées, quels effets anticipés* (VII.2). Le *visa d’affectation des scores* viendra déplacer le cœur de la décision : avant de laisser un score trier des dossiers, il faudra qu’une scène instituée ait discuté la *légitimité de cette affectation* (VII.3). Le *coupe-circuit citoyen*, le *tribunal de l’algorithme*, les *assemblées d’affectation* dotées de budgets scéniques, enfin, seront pensés comme autant de dispositifs qui donnent un contenu précis à l’idée de “*pouvoir arrêter, juger, rediriger*” *un système d’IA* lorsqu’il produit des dégâts massifs ou des injustices systématiques (VII.4 à VII.6), avant que le *principe de révision archicrative* et la *cartographie des scènes manquantes* ne ferment la boucle en imposant une *périodicité* et une *vision d’ensemble* (VII.7).
|
||
|
||
Ce déplacement est décisif : il ne s’agit plus de demander abstraitement si une IA est “alignée” sur des principes éthiques, mais de rediriger la normativité vers la structure des scènes qu’elle doit accepter autour d’elle. Un Système F peut rester techniquement le même – mêmes modèles, mêmes proxys, mêmes pipelines – et néanmoins changer de régime dès lors qu’on lui impose le droit au différé contradictoire, l’obligation de journaliser ses justifications, l’exposition régulière de ses métriques devant des assemblées d’affectation, la possibilité de coupe-circuits extra-techniques. Inversement, aucune “amélioration des biais” ne suffira si ces gestes ne sont pas institués : on restera dans l’*autarchicratie numérique* diagnostiquée à la Partie VI, où la *régulation se juge elle-même à l’aune de ses propres indicateurs*.
|
||
|
||
La Partie VII ne promet donc pas un “plan d’action clé en main” pour toutes les IA, ni un catéchisme de bonnes pratiques ; elle propose une *traduction opératoire* : *que devient chacun de nos gestes archicratiques lorsqu’on le laisse travailler à l’intérieur du cas Système F ? Quelles formes juridiques, organisationnelles, matérielles peut-il prendre ? Quelles résistances rencontrera-t-il ? Quelles conditions minimales sont nécessaires pour qu’il ne se réduise pas, à son tour, à une archicration fantôme ?* C’est à ces questions que nous commençons à répondre avec le premier geste, celui qui redonne du temps et de la prise face à des décisions automatisées : le droit au différé contradictoire pour les décisions appuyées par IA.
|
||
|
||
## VII.1. Droit au différé contradictoire pour les décisions appuyées par IA
|
||
|
||
Le premier geste archicratique, appliqué à Système F, vise quelque chose de très simple et de très radical à la fois : *empêcher qu’une décision appuyée par IA ne se ferme sur elle-même au moment même où elle tombe*. Là où la régulation algorithmique tend à comprimer le temps (score instantané, exécution immédiate, effets souvent irréversibles), il s’agit de *réintroduire un temps politique* : *un délai, un espace et des prises pour que la personne concernée puisse contester, comprendre, faire valoir d’autres éléments*. Ce droit au différé contradictoire n’est pas une simple déclinaison de l’“explication” ou du “recours” ; c’est un principe structurant : aucune décision substantielle appuyée par IA ne devrait pouvoir produire ses effets pleins sans avoir traversé une fenêtre de contestation organisée.
|
||
|
||
Les régulations existantes esquissent déjà quelque chose de cet ordre. L’article 22 du RGPD reconnaît le *droit de ne pas être soumis à une décision produisant des effets juridiques, fondée exclusivement sur un traitement automatisé, et d’obtenir une intervention humaine, d’exprimer son point de vue, de contester la décision*. L’AI Act consacre, pour certaines décisions fondées sur des systèmes d’IA à haut risque, un droit à une explication “claire et significative” du rôle du système et des principaux éléments de la décision. Mais ces droits, tels qu’ils sont formulés, restent en grande partie défensifs : ils garantissent une possibilité d’intervention *ex post*, à l’intérieur d’un cadre que l’architecture de la décision continue de dominer. Le *droit au différé contradictoire*, tel que nous le formulons pour Système F, cherche à inverser la perspective : c’est à la décision de se mettre en attente devant la personne, pas l’inverse.
|
||
|
||
### VII.1.1. Ce qu’est une “décision substantielle appuyée par IA”
|
||
|
||
Pour ne pas verser dans le vœu pieux, il faut d’abord délimiter le champ. Nous appelons “*décision substantielle appuyée par IA*” toute décision qui répond à trois critères.
|
||
|
||
Premièrement, elle *affecte de manière significative la situation de la personne*, au sens proche de l’article 22 du RGPD : *effets juridiques directs* (suspension ou refus de prestation, attribution ou retrait d’un statut, condamnation, détention, refus de titre de séjour, licenciement) ou *effets socio-économiques d’ampleur équivalente* (perte d’accès à un soin important, refus d’un crédit crucial, mise au chômage prolongé). Dans Système F, cela recouvre par exemple : la suspension d’une allocation logement à la suite d’un score de “risque de fraude”, la décision d’enquêter en priorité sur une famille plutôt qu’une autre, la non-inscription d’un patient dans un programme de soins renforcés, la classification d’un justiciable dans la catégorie “haut risque de récidive”, le rejet d’un dossier de candidature, le déréférencement d’un contenu qui conditionne fortement la visibilité d’une parole.
|
||
|
||
Deuxièmement, la décision est appuyée par IA : le modèle n’agit pas nécessairement “seul”, mais son output (score, recommandation, classement, étiquette) est intégré de manière structurante dans la chaîne de décision. C’est bien ce que reconnaissent déjà, en creux, les régulations : le RGPD cible les décisions “fondées exclusivement” sur un traitement automatisé, mais la pratique montre que beaucoup de décisions “mixtes” restent en fait déterminées par la sortie d’un système, la marge de manœuvre humaine étant faible ou purement formelle. Système F est emblématique de ce cas : l’agent social, le médecin, le recruteur, le modérateur peuvent théoriquement s’écarter du score, mais tout, dans l’interface et les procédures, les incite à renoncer et à s’aligner.
|
||
|
||
Troisièmement, il existe une asymétrie d’information et de prise telle que, sans geste archicratique spécifique, la personne concernée ne peut ni voir, ni comprendre, ni contester efficacement la contribution de l’IA. Là encore, les lignes directrices européennes sur le profilage et la décision automatisée constatent que l’opacité des modèles et la complexité des chaînes de traitement constituent un obstacle majeur à l’exercice effectif des droits. C’est cette asymétrie que le droit au différé contradictoire vise à entamer.
|
||
|
||
### VII.1.2. Formulation archicratique du droit au différé contradictoire
|
||
|
||
Formulé en langage archicratique, le geste est le suivant : *toute décision substantielle appuyée par IA doit être assortie d’un droit opposable au différé contradictoire*, c’est-à-dire d’un délai pendant lequel la personne :
|
||
|
||
1. est *informée de manière explicite de l’usage d’un système d’IA dans la décision* ;
|
||
|
||
2. *peut demander que la décision ne produise pas immédiatement tous ses effets, ou les produise sous une forme réversible* ;
|
||
|
||
3. *obtient l’ouverture d’une scène où elle peut confronter les raisons de la décision, présenter des éléments, demander un réexamen avec intervention humaine effective.*
|
||
|
||
Ce droit ne vient pas remplacer les droits existants à l’explication, à la contestation ou à l’intervention humaine ; il les restructure. Le RGPD garantit déjà, au moins pour certaines décisions, la possibilité de demander une intervention humaine et de contester. L’AI Act ajoute, pour les systèmes à haut risque, un *droit à une explication claire du rôle de l’IA et des principaux éléments de la décision*. Nous faisons un pas de plus : nous posons que, *sans délai et sans suspension potentielle des effets, ces droits restent largement théoriques*. Une explication qui arrive après une expulsion locative, après une faillite, après une perte d’emploi, a une valeur symbolique mais ne constitue pas une véritable *archicration* ; elle intervient trop tard pour rouvrir la scène de la décision.
|
||
|
||
À l’inverse, le *droit au différé contradictoire* introduit, dans la *cratialité* de Système F, une *zone de fragilité volontaire* : un *moment où la décision n’est pas encore close, où l’arcalité implicite du modèle et la cratialité des pipelines sont obligées de se prêter à la controverse*. Il ne s’agit pas de paralyser la régulation, mais de reconnaître que l’automatisation des décisions substantielle exige une compensation scénique : *plus la chaîne est rapide, plus le droit au différé doit être robuste*.
|
||
|
||
### VII.1.3. Délais, suspension partielle et graduations sectorielles
|
||
|
||
Ce principe doit ensuite être articulé à des paramètres concrets. Il serait illusoire – et peu archicratique – de fixer un délai unique pour tous les contextes. En revanche, on peut dégager plusieurs figures de temporalité qui se retrouvent dans la plupart des usages de Système F.
|
||
|
||
Dans le champ social, un refus ou une suspension de prestation appuyé par un score de “risque de fraude” devrait, par principe, ne pas produire immédiatement ses effets les plus destructeurs. Autrement dit : l’administration pourrait signaler l’anomalie, déclencher un contrôle, mais un socle minimal de prestations devrait être maintenu pendant un certain délai, le temps que la personne puisse comprendre la situation, accéder à son dossier, demander un réexamen. Les expériences documentées de suspension massive de prestations sur base algorithmique montrent qu’en l’absence de cette temporisation, le dommage social (dettes, expulsions, déscolarisation) est très rapide, alors que la rectification juridique, elle, peut prendre des mois.
|
||
|
||
Dans la santé, la temporalité est plus tendue : on ne peut pas différer indéfiniment une décision de priorisation d’accès à un soin. Mais on peut distinguer ce qui est irréversible de ce qui est révisable. Un triage de liste d’attente fondé sur Système F pourrait être appliqué immédiatement pour organiser l’ordre du jour médical, tout en restant explicitement révisable dans les jours qui suivent, si le patient ou un tiers fait valoir des éléments que le modèle n’a pas pris en compte. Ici, *le droit au différé se traduit moins par un gel des effets que par une réversibilité organisée* : la décision ne devient pleinement clôturée qu’après un laps de temps pendant lequel une réévaluation humaine est possible.
|
||
|
||
Dans la justice pénale, les décisions qui mobilisent des scores de risque (détention provisoire, libération conditionnelle, mesures de sûreté) pourraient faire l’objet d’un mécanisme analogue : lorsque le score de Système F pèse de manière significative dans la décision, le justiciable devrait bénéficier d’un délai effectif pour demander la communication du rôle joué par l’IA et solliciter un réexamen, que ce soit dans le cadre d’un appel ou d’une procédure spécifique. Le droit procédural européen repose déjà sur l’exigence de motivation des décisions et sur la possibilité de recours ; il s’agirait ici de reconnaître explicitement que l’usage d’une IA est, en soi, un motif supplémentaire de différé, tant que son apport n’a pas été entièrement éclairci.
|
||
|
||
Dans le recrutement, enfin, le *droit au différé* pourrait *interdire les rejets instantanés de candidatures sur la seule base d’un filtrage algorithmique* : toute candidature écartée à la suite d’un passage par Système F devrait, au minimum, pouvoir être réactivée par la personne sur la base d’une demande motivée (“je conteste que tel critère soit pertinent pour ce poste”) ; les délais seraient plus courts, mais la logique resterait la même : empêcher que le “non” algorithmique ne soit immédiatement absorbé par les procédures.
|
||
|
||
Ce qui importe n’est pas de figer des durées identiques partout, mais de poser un *principe de graduation* : *plus les effets sont graves et irréversibles*, *plus le délai de différé doit être long et la suspension substantielle des effets garantie* ; *plus ils sont légers et réversibles, plus la temporalité peut être resserrée, mais jamais réduite à zéro*.
|
||
|
||
### VII.1.4. Instances compétentes et accès effectif au dossier
|
||
|
||
*Un différé sans interlocuteur identifié serait une parodie de droit*. Le geste archicratique suppose donc de désigner des *instances compétentes pour instruire le contradictoire*, et de *garantir un accès réel au dossier.*
|
||
|
||
Dans une caisse sociale, il ne suffit pas de renvoyer l’allocataire vers un formulaire de réclamation générique. Il faut une *cellule de réexamen* qui ait à la fois la *compétence métier* (comprendre les règles de prestations), la *compétence technique* (lire un score, interpréter les variables, convoquer les logs de Système F) et la *capacité de décision*. Cette cellule doit pouvoir, le cas échéant, infirmer la décision initiale, corriger le modèle ou solliciter une expertise externe.
|
||
|
||
Dans un hôpital, le contradictoire devrait être organisé autour d’une *instance éthique médicale* capable de revisiter, à la lumière des données cliniques et des contraintes organisationnelles, la priorisation proposée par Système F. Dans un tribunal, ce rôle revient, en dernier ressort, au juge lui-même, mais il pourrait être épaulé par des *experts indépendants*, sur le modèle des *amicus curiae* *techniques* que l’on commence à voir apparaître dans certains contentieux liés aux algorithmes — à l’image de la Suisse dans *Google c. CNIL (C-507/17)* – façonnant l’interprétation des règlements, notamment sur des questions de souveraineté numérique.
|
||
|
||
Au-dessus de ces instances sectorielles, les autorités de protection des données, les autorités sectorielles et les organismes créés par l’AI Act pour superviser les systèmes à haut risque fournissent une architecture de recours externe : ils peuvent être saisis en cas de dysfonctionnement structurel, de défaut d’explication, de violation des droits procéduraux. Le droit au différé contradictoire demande que ces circuits soient articulés, de manière lisible, avec les recours de première ligne : l’allocataire, le patient, le justiciable, le candidat ne doivent pas avoir à deviner à qui s’adresser.
|
||
|
||
Enfin, le contradictoire n’a de sens que si la personne accède à un dossier intelligible. Ici, l’articulation avec le droit à l’explication consacré par l’AI Act est centrale : la personne doit pouvoir obtenir une description claire du rôle joué par Système F dans la décision et des principaux éléments qui l’ont déterminée. Mais le geste archicratique ajoute deux exigences :
|
||
|
||
- d’une part, que cette *explication soit fournie avant que la décision ne devienne irrévocable, pendant la période de différé* ;
|
||
|
||
- d’autre part, qu’elle soit *accompagnée des informations nécessaires pour contester : nature des données utilisées, grandes lignes des critères de tri, existence de tests de biais, possibilités d’alternatives*.
|
||
|
||
### VII.1.5. Effet structurant sur Système F : rouvrir la chaîne
|
||
|
||
Du point de vue de Système F, le droit au différé contradictoire n’est pas un simple “dégât collatéral” à absorber ; c’est une *contrainte de design*. Il *oblige les concepteurs, intégrateurs et utilisateurs à prévoir, dans leurs pipelines, des points de réouverture* : *journaux d’exécution exploitables, interfaces de consultation, procédures de suspension, circuits de réexamen*. Il impose que la *cratialité* ne soit pas une chaîne fermée allant de la collecte de données à la décision, mais un *circuit avec, en son milieu, une scène d’exposition et de révision possible*.
|
||
|
||
C’est en cela que ce premier geste archicratique est exemplaire : il montre que l’on peut déplacer la question de la “régulation de l’IA” loin des seules chartes éthiques ou des ajustements techniques de biais. Tant que les décisions substantielles appuyées par IA tomberont comme des verdicts instantanés, même les meilleurs principes resteront anti-scéniques. À l’inverse, *dès qu’un droit opposable au différé contradictoire est institué, même un Système F imparfait cesse d’être un pur opérateur d’autarchicratie* : il devient, par construction, *appelable et interpellant en scène*.
|
||
|
||
## VII.2. Journal de justification des modèles et de leurs déploiements
|
||
|
||
Le droit au différé contradictoire ouvre du temps. Mais un temps sans mémoire n’ouvre pas grand-chose : si, au moment où la décision est contestée, personne n’est en mesure de dire pourquoi tel modèle a été choisi plutôt qu’un autre, pourquoi telle métrique a été retenue, pourquoi tel seuil a été fixé à ce niveau et pas à un autre, la scène reste vide. Le deuxième geste archicratique consiste donc à arrimer ce temps au support qui lui manque : un *journal de justification* attaché à chaque déploiement de Système F, c’est-à-dire un document vivant où sont consignées, au fur et à mesure, les décisions structurantes relatives au modèle et à sa mise en œuvre – avec leurs raisons, leurs alternatives écartées, leurs effets anticipés.
|
||
|
||
L’idée n’est pas de réinventer la documentation technique. Le règlement européen sur l’IA impose déjà, pour les systèmes à haut risque, la préparation et la mise à jour d’une documentation détaillée : description de l’architecture, des objectifs, des données, des tests, des performances, des procédures de gestion des risques. Le RGPD, de son côté, *oblige à documenter les analyses d’impact sur la protection des données* (AIPD) pour certains traitements sensibles. De nombreuses propositions issues de la communauté de recherche vont dans le même sens : *datasheets for datasets* pour décrire les jeux de données, *model cards* pour exposer les usages prévus, les *conditions d’évaluation* et les *performances différenciées des modèles*. Des standards de transparence algorithmique, comme le *Algorithmic Transparency Recording Standard* au Royaume-Uni ou les registres d’algorithmes en cours d’expérimentation dans plusieurs pays, invitent les administrations à publier des fiches descriptives de leurs outils.
|
||
|
||
Nous ne partons donc pas de rien. Mais, du point de vue archicratique, ces instruments souffrent de deux limites : ils sont pensés depuis la conformité – démontrer que l’on remplit des exigences réglementaires – plus que depuis la *justification* , et ils restent trop souvent séparés de la scène : produits pour des autorités de contrôle ou des pairs techniques, rarement pour les personnes qui subissent les décisions. Le *journal de justification* que nous proposons pour Système F radicalise et reconfigure ces efforts : il s’agit de *produire un objet documentaire* qui soit, *dès l’origine, orienté vers le fait de pouvoir répondre de la présence d’un modèle dans une chaîne décisionnelle et rendre raison des choix effectués tout au long de sa vie*.
|
||
|
||
### VII.2.1. De quoi un “*journal de justification*” est-il le nom ?
|
||
|
||
Concrètement, un *journal de justification* n’est ni un rapport unique écrit une fois pour toutes, ni une simple base de logs techniques. C’est un *fil chronologique de décisions structurantes, chacune accompagnée de quatre éléments minimaux* : *qui* décide, *sur quoi* porte la décision, *au nom de quoi* elle est prise, *quelles alternatives* ont été envisagées et écartées.
|
||
|
||
Ainsi, lorsque l’administration qui intègre Système F dans la détection de fraude sociale choisit un modèle de scoring plutôt qu’un autre, cet acte devrait apparaître sous forme d’entrée : date, acteurs impliqués, modèles comparés, critères de choix (performance globale, sensibilité aux faux positifs, contraintes budgétaires), éventuelles réserves formulées. De même pour la sélection des variables (inclusion ou exclusion de la nationalité, du code postal, de variables familiales), pour la définition de la fonction de coût (pondération relative des différents types d’erreurs), pour la fixation des seuils de “haut risque”, pour la mise en production dans tel ou tel territoire.
|
||
|
||
Ce que des approches comme les *model cards* et les *datasheets* esquissent déjà – *documenter le contexte d’usage, les performances différenciées, les limites, les risques de biais* –, le *journal de justification le reprend*, mais en le reliant à deux exigences supplémentaires : la *traçabilité temporelle* (on doit pouvoir reconstituer la séquence des arbitrages qui ont conduit à la configuration actuelle — type *blockchain*) *et l’adressage scénique* (ce journal est conçu pour être lisible, au moins par médiation, par les personnes appelées à juger ou à contester Système F : juges, autorités, instances d’*archicration*, représentants ou portes-voix des publics affectés).
|
||
|
||
### VII.2.2. Unifier les fragments : de la documentation dispersée à un support scénique
|
||
|
||
Du point de vue de Système F, la documentation existe déjà, mais elle est éclatée : spécifications techniques du fournisseur, fiches d’architecture des intégrateurs, cahiers des charges publics, AIPD, dossiers d’homologation, notices d’utilisation. L’AI Act exige en outre des journaux de logs conservés plusieurs mois pour les systèmes à haut risque, afin d’enquêter en cas de dysfonctionnement. Les administrations commencent à publier des fiches de transparence sur les outils utilisés, parfois dans des registres publics.
|
||
|
||
Le *journal de justification* ne vient pas s’ajouter comme une pièce de plus à ce puzzle ; il sert de charnière : il relie les différents documents existants en fonction d’une seule question directrice – *pourquoi ce système, ainsi configuré, dans ce contexte précis, est-il présenté comme acceptable ?* – et organise les fragments en vue d’un usage scénique. Il oblige, par exemple, à relier explicitement :
|
||
|
||
- les *hypothèses formulées dans l’analyse d’impact initiale* (sur les risques de discrimination, les publics concernés, les scénarios de défaillance) ;
|
||
|
||
- les *résultats des tests et audits de biais régulièrement effectués* ;
|
||
|
||
- les *décisions de poursuivre, suspendre, ajuster le déploiement à la lumière de ces résultats*.
|
||
|
||
Là où beaucoup de démarches d’“*IA responsable*” s’arrêtent à des rapports internes, ce journal est conçu pour être mobilisable : lorsqu’un *tribunal de l’algorithme* est saisi, lorsqu’une *autorité de contrôle enquête,* lorsqu’une *assemblée d’affectation demande des comptes*, ce n’est pas à des ingénieurs isolés de recomposer, dans l’urgence, la généalogie du système ; *c’est au journal d’offrir le matériau de la controverse*.
|
||
|
||
### VII.2.3. Contenu minimal pour Système F : décisions, alternatives, anticipations
|
||
|
||
Dans le cas qui nous occupe, on peut identifier, sans prétendre à l’exhaustivité, plusieurs nœuds de décision qui doivent nécessairement figurer dans le *journal de justification* de Système F.
|
||
|
||
Le premier est le *choix même de recourir à une IA* : *pourquoi décider, dans un secteur donné, de confier à Système F une partie de la détection de fraude, du tri de dossiers, de la priorisation des soins, de la sélection de candidatures, de la modération de contenus ? Quelles autres options ont été envisagées (renforcement de moyens humains, améliorations de procédures, outils statistiques plus simples) et pourquoi ont-elles été jugées moins pertinentes ?* La littérature sur la responsabilité de l’IA rappelle que l’essentiel se joue souvent à ce niveau “pré-algorithmique” : la décision de *mettre* un algorithme au cœur du processus échappe largement aux instruments de contrôle classiques.
|
||
|
||
Le second concerne la *définition des variables et des proxies* : pourquoi choisir les coûts de santé comme proxy des besoins cliniques, la nationalité comme signal de risque, l’historique de recrutements comme gabarit du “talent”, tel indicateur d’engagement comme substitut de la “qualité” des contenus ? Les travaux sur les biais algorithmiques, notamment dans les systèmes de santé et les dispositifs de recrutement, ont montré que ces choix peuvent reproduire ou amplifier des inégalités raciales et de genre tout en demeurant invisibles aux yeux des décideurs politiques. *Le journal doit faire apparaître les justifications invoquées, les mises en garde éventuelles, les alternatives envisagées* (d’autres proxies, d’autres combinaisons de variables) et *les raisons de leur rejet*.
|
||
|
||
Le troisième porte sur la *fonction de coût et les métriques de performance* : *quel compromis a-t-on adopté entre faux positifs et faux négatifs dans un scoring pénal ou social ? Quelle priorité donne-t-on à la réduction globale des erreurs par rapport à la réduction des écarts entre groupes ? Quels indicateurs d’équité retient-on, parmi ceux – incompatibles entre eux – que la littérature a mis en évidence, et pourquoi ?*
|
||
|
||
Le quatrième concerne la *mise en production* et les *conditions de déploiement* : *dans quels territoires, secteurs, catégories de dossiers commence-t-on à utiliser Système F ? Avec quelles mesures d’accompagnement (formation des agents, information des usagers, périodes de test sans effet direct sur les droits) ? Quelles limites explicites pose-t-on au système (par exemple : interdiction d’utilisation comme unique base décisionnelle pour une incarcération, un refus de titre de séjour, une radiation définitive) ?* Là encore, ces choix sont rarement documentés de manière structurée, alors qu’ils déterminent la matérialité des effets.
|
||
|
||
Enfin, le journal doit contenir les *entrées liées aux révisions* : *incidents graves, résultats d’audits défavorables, décisions de justice, interpellations de collectifs, corrections apportées au modèle ou à ses usages*. Ce sont ces entrées qui permettent d’éviter ce que d’autres travaux appellent “*l’effacement organisationnel*” des problèmes : la tendance à oublier rapidement les controverses passées dès que le système a été légèrement ajusté, sans trace durable des raisons qui ont conduit à ces ajustements.
|
||
|
||
### VII.2.4. Du point de vue archicratique : transformer une archive en scène potentielle
|
||
|
||
Pourquoi, du point de vue de l’*archicratie*, insister autant sur cet objet documentaire ? Parce que le *journal de justification est le pont matériel entre l’arcalité implicite et l’archicration possible*.
|
||
|
||
Tant que les choix de proxies, de métriques, de seuils et de contextes de déploiement restent dissous dans des réunions non documentées, des échanges d’e-mails ou des lignes de code, l’*arcalité* de Système F demeure *fantôme* : *elle agit mais ne laisse pas de trace discursive suffisamment consistante pour être ramenée sur une scène*. Lorsque survient un scandale – discriminations massives dans un système de prestations sociales, priorisation injuste de patients, biais structurels dans un outil de recrutement – les organisations se replient sur un récit lissé : “il y a eu des erreurs”, “nous avons corrigé le modèle”, “nous avons amélioré notre gouvernance”.
|
||
|
||
Un *journal de justification* rigoureusement tenu empêche en partie cette réécriture. Il montre, par exemple, que telle mise en garde avait été formulée mais écartée, que telle alternative moins discriminante avait été jugée “trop coûteuse”, que telle métrique avait été choisie pour des raisons de commodité plus que de justice. Il ne se substitue pas au travail politique, juridique, médiatique de requalification ; il en fournit la matière. C’est ce que recherchent, sous d’autres formes, certains standards de transparence algorithmique : permettre à des tiers – parlementaires, journalistes, chercheurs, associations – de reconstruire la chaîne des décisions qui ont conduit à l’usage d’un système dans le secteur public.
|
||
|
||
En ce sens, le *journal de justification* est déjà, en lui-même, une *mini-scène* : *un lieu où les acteurs parlent au futur contradicteur*. Il oblige les concepteurs et les décideurs à se positionner comme susceptibles d’être interrogés : “*si l’on nous demande demain pourquoi nous avons fait cela, qu’aurons-nous à répondre ?*”. Cette projection n’est pas une simple anticipation juridique ; elle est une première forme d’*archicration intériorisée*.
|
||
|
||
### VII.2.5. Conditions de fiabilité : indépendance, sincérité, partage
|
||
|
||
Évidemment, un *journal de justification* n’a de valeur archicratique que s’il n’est pas une pure pièce de communication. La littérature sur la responsabilité de l’IA en contexte public insiste sur la tentation permanente de transformer les instruments de transparence en vitrines, où l’on met en avant les bonnes pratiques et où l’on minimise les controverses réelles.
|
||
|
||
Trois conditions minimales doivent donc être posées.
|
||
|
||
La première est une *forme d’indépendance* : même si le journal est tenu au quotidien par les équipes en charge du système, son existence, sa structure et ses mises à jour doivent faire l’objet d’un contrôle externe (autorité de supervision, instance professionnelle, tribunal de l’algorithme) ; certaines entrées – notamment celles qui concernent des désaccords internes, des alertes, des alternatives écartées – ne doivent pas pouvoir être effacées ou réécrites unilatéralement.
|
||
|
||
La deuxième est la *sincérité descriptive* : il ne s’agit pas d’exiger une confession morale, mais d’interdire les omissions grossières. Si une variable est maintenue malgré des doutes sérieux sur son caractère discriminant, si un audit de biais met en lumière des écarts massifs et que l’on décide malgré tout de poursuivre le déploiement, le journal doit le dire. Sans cette sincérité minimale, il redevient un outil de légitimation, non un support d’épreuve.
|
||
|
||
La troisième est le *partage différencié* : tout ne peut pas être rendu public dans le détail (secrets commerciaux, risques d’ingénierie inversée, enjeux de sécurité). Mais il doit exister une version du journal accessible aux différents cercles de la scène : version intégrale pour les autorités de contrôle et les tribunaux, version détaillée mais non technique pour les assemblées d’affectation et les collectifs concernés, version synthétique pour le grand public. Les outils existants – registres d’algorithmes, modèle*s* de transparence, *model cards* publiques – offrent des exemples de cette gradation.
|
||
|
||
Avec ce deuxième geste, notre cas pratique franchit un pas décisif : *Système F* cesse d’être seulement un ensemble de poids de réseau neuronal et de scripts d’intégration ; il devient aussi une *histoire documentée de choix régulateurs, susceptible d’être lue, interrogée, disputée*. *Le droit au différé contradictoire ouvre la brèche temporelle ; le journal de justification lui donne une mémoire et une matière*. Les gestes suivants – visa d’affectation, coupe-circuit, tribunal de l’algorithme, budget scénique – viendront préciser comment, à partir de cette mémoire, on institue des scènes où Système F ne se contente plus d’opérer, mais apprend à répondre.
|
||
|
||
## VII.3. Visa d’affectation des métriques et des scores IA
|
||
|
||
Avec le droit au différé contradictoire, nous avons rouvert le temps de la décision. Avec le journal de justification, nous avons commencé à documenter les choix structurants qui façonnent Système F. Le troisième geste archicratique change encore légèrement de focale : il ne porte plus sur le *modèle en général*, ni sur la *décision individuelle*, mais sur le moment précis où un score ou une métrique est affecté à une fonction régulatrice déterminée.
|
||
|
||
Un même score issu de Système F peut, en effet, être utilisé pour des choses très différentes :
|
||
|
||
- dans un système de santé, un indice de risque peut servir à *proposer* une surveillance renforcée, ou à *refuser* l’accès à un programme de soins coûteux ;
|
||
|
||
- dans la justice pénale, un score de récidive peut être mobilisé comme élément parmi d’autres dans un rapport d’évaluation, ou devenir la condition quasi-mécanique d’une détention préventive ;
|
||
|
||
- dans la protection sociale, un score de fraude peut simplement *déclencher un contrôle humain*, ou entraîner une *suspension automatique* de prestations ;
|
||
|
||
- sur une plateforme, un score d’“engagement” peut être utilisé pour *adapter des recommandations* ou pour *rendre quasi invisible* une catégorie de contenus.
|
||
|
||
Dans tous ces cas, le même artefact numérique – une probabilité, un rang, un indicateur – change de nature selon l’usage qui en est fait. C’est ce que reconnaissent implicitement plusieurs cadres récents : l’AI Act classe les systèmes d’IA comme “à haut risque” non pas en fonction de leur architecture interne, mais en fonction de leur *usage prévu* et des domaines où ils sont déployés (emploi, crédit, éducation, justice, migration, services essentiels, etc.). Le rapport du Conseil de l’Europe sur la régulation des systèmes algorithmiques insiste de son côté sur la nécessité de distinguer le “modèle” du “système socio-technique” concret, qui inclut le contexte d’utilisation et la nature des décisions prises sur sa base.
|
||
|
||
Le geste archicratique que nous appelons *visa d’affectation* prend appui sur ces constats, mais les pousse plus loin : aucun score ni aucune métrique issue de Système F ne devrait être autorisé à structurer une décision substantielle sans avoir obtenu, pour cette affectation précise, un visa délivré à l’issue d’une scène instituée.
|
||
|
||
### VII.3.1. Affecter un score, c’est décider de sa portée régulatrice
|
||
|
||
Dans les régimes de régulation que l’AI Act qualifie de “haut risque”, le règlement impose déjà que le fournisseur définisse très clairement “l’usage prévu” du système et que l’utilisateur professionnel ne le détourne pas vers des usages non prévus ou plus intrusifs. Les lignes directrices sur les analyses d’impact algorithmiques, qu’elles soient canadiennes, néerlandaises ou britanniques, invitent également à qualifier, pour chaque projet, la “portée de la décision” et la “sensibilité du contexte”.
|
||
|
||
Mais, en pratique, cette notion de “portée” reste floue. Elle est traitée comme un paramètre dans un formulaire d’impact, non comme un objet d’archicration. Le visa d’affectation, tel que nous le formulons pour Système F, consiste à faire de cette question un moment de scène à part entière :
|
||
|
||
- *Ce score peut-il être utilisé pour classer des dossiers, mais pas pour suspendre un droit ?*
|
||
|
||
- *Ce score de dangerosité peut-il légalement justifier une incarcération, ou seulement motiver une surveillance accrue ?*
|
||
|
||
- *Ce score d’“engagement” peut-il servir à élever certains contenus, mais pas à enfouir des expressions politiques ou syndicales légitimes ?*
|
||
|
||
- *Ce score de “probabilité de succès” peut-il trier des candidatures pour un entretien, mais pas justifier des refus définitifs sans examen humain ?*
|
||
|
||
Affecter un score à une fonction, ce n’est pas une simple opération de paramétrage ; c’est attribuer une force normative à un indicateur : lui donner le pouvoir de faire basculer un dossier d’un côté ou de l’autre d’une frontière. Le visa d’affectation est le dispositif par lequel cette attribution est mise en scène, discutée, encadrée.
|
||
|
||
### VII.3.2. Une instance scénique dédiée : qui délivre le visa ?
|
||
|
||
Sur le plan institutionnel, le visa d’affectation suppose l’existence d’une instance scénique identifiable, différente à la fois des équipes techniques, des directions métiers et des autorités de contrôle généralistes. On retrouve ici des idées déjà en germe dans plusieurs expériences :
|
||
|
||
- les *Algorithmic Impact Assessments* prévus par certaines administrations, qui doivent être examinés par des comités transversaux associant juristes, techniciens et représentants du public ;
|
||
|
||
- les *ethics review boards* constitutionnels ou sectoriels, qui rendent des avis sur des projets de systèmes d’IA engagés dans des secteurs sensibles ;
|
||
|
||
- les projets de “*comités d’algorithmes*” locaux, comme ceux expérimentés dans certaines villes pour évaluer les outils utilisés par la police, les services sociaux ou les transports.
|
||
|
||
L’instance qui délivre le *visa d’affectation* doit réunir, a minima :
|
||
|
||
1. des *représentants des métiers* (agents sociaux, médecins, magistrats, recruteurs, modérateurs) qui comprennent ce que la décision signifie concrètement ;
|
||
|
||
2. des *personnes ayant une compétence technique indépendante* vis-à-vis de Système F, capables de lire les métriques, de comprendre les limitations du score, de pointer les effets potentiels sur certains groupes ;
|
||
|
||
3. des *représentants ou portes-voix des publics affectés* (associations d’usagers, collectifs de patients, syndicats, associations de défense des droits fondamentaux) qui apportent le point de vue de ceux qui seront classés, profilés, priorisés.
|
||
|
||
Nous n’inventons pas *ex nihilo* cette composition : le Conseil de l’Europe et plusieurs rapports académiques plaident pour des *organes de gouvernance de l’IA pluridisciplinaires*, incluant systématiquement des représentants de la société civile dans les décisions structurantes sur les systèmes d’IA publics. Le *visa d’affectation* consiste à donner à ce type d’organe un pouvoir explicite sur la façon dont les scores sont utilisés.
|
||
|
||
### VII.3.3. Une procédure : ce que contient une demande de visa d’affectation
|
||
|
||
Pour qu’un visa ne soit pas une simple formalité, il faut que la *demande de visa d’affectation* contienne un minimum d’éléments substantiels. Dans le cas de Système F, quatre blocs sont indispensables.
|
||
|
||
1. *Description de la décision visée* : nature de la décision (accord / refus / suspension / priorisation / classement), domaine (social, santé, justice, emploi, plateforme), effets attendus, publics concernés. On rejoint ici les classifications par “domaines à risque élevé” du droit européen, mais en les reformulant depuis l’impact concret sur les personnes.
|
||
|
||
2. *Caractéristiques du score ou de la métrique* : type d’indicateur (probabilité, rang, catégorie), mode de calcul, performances globales et différenciées (par genre, origine, âge, territoire, handicap, etc.), incertitudes connues, tests de robustesse réalisés. La littérature sur les audits de biais rappelle que ce type d’informations est indispensable pour apprécier la légitimité d’utiliser un score comme base d’une décision substantielle.
|
||
|
||
3. *Proposition d’affectation* : quel rôle précis le score jouera-t-il (critère déterminant, filtre initial, signal de vigilance, recommandation non contraignante) ? À quel seuil fera-t-on basculer une personne d’une catégorie à une autre ? Le score pourra-t-il être compensé par d’autres éléments (par exemple des circonstances sociales, médicales, familiales) ? Quelle marge d’appréciation est laissée aux agents humains ?
|
||
|
||
4. *Analyse des risques et alternatives* : quels risques de discrimination, de stigmatisation, d’exclusion sont identifiés dans cette affectation ? Quelles autres modalités d’usage du score ont été envisagées (réservé à une deuxième lecture humaine, utilisé comme alerte secondaire, limité à des décisions moins lourdes) et pourquoi ont-elles été écartées ? Quels mécanismes correctifs (droit au différé, révision humaine systématique, monitoring continu des effets) seront mis en œuvre ?
|
||
|
||
Ce type de contenu s’inspire des bonnes pratiques émergentes dans les analyses d’impact algorithmiques et les déclarations de transparence, mais le déplace au point précis où le score accède à la fonction régulatrice : l’affectation.
|
||
|
||
### VII.3.4. Un visa toujours conditionnel : temporalité, révision, retrait
|
||
|
||
Dans un régime archicratique, un visa n’est jamais un blanc-seing illimité. Il est conditionnel et révisable.
|
||
|
||
Dans le cas de Système F, un *visa d’affectation pourrait être délivré pour une durée déterminée* (par exemple trois ans)*, assorti d’obligations de monitoring : suivi des effets sur différents groupes, remontée systématique des contestations et recours, surveillance des dérives d’usage* (extension du score à des décisions non prévues). L’AI Act impose déjà des obligations de surveillance post-marché pour les systèmes à haut risque, ainsi que des mises à jour en cas de modifications significatives du système. *Le visa archicratique s’appuie sur cette logique, mais la rend scénique* : *les rapports de monitoring et les incidents doivent revenir devant l’instance qui a délivré le visa ; ils peuvent conduire à des conditions supplémentaires, à une restriction de l’affectation ou, en dernier ressort, au retrait du visa*.
|
||
|
||
La structure de Système F (services fournis via API, mises à jour fréquentes des modèles, redéploiements rapides dans de nouveaux contextes) rend cette révision d’autant plus nécessaire. Sans visa conditionnel, une affectation initiale relativement prudente peut, en peu de temps, se transformer en usage beaucoup plus intrusif : le score initialement destiné à aider au tri des dossiers peut devenir le critère principal de refus ; le score d’engagement peut être recyclé comme proxy de “fiabilité” de la parole, etc.
|
||
|
||
Le visa d’affectation archicratique a pour fonction de ramener périodiquement ces glissements sur scène. Il oblige les responsables à dire : “nous avions prévu tel usage de ce score ; voici ce qu’il en est réellement aujourd’hui ; voici les effets constatés ; voici pourquoi nous estimons qu’il peut être prolongé, modifié ou retiré”.
|
||
|
||
### VII.3.5. Effet de structure : dé-spectaculariser la métrique, re-politiser l’affectation
|
||
|
||
Au fond, ce geste répond à un phénomène que de nombreux travaux critiques sur la quantification ont mis en évidence : la *spectacularisation des métriques*. Dès qu’un score existe, il tend à acquérir une aura particulière : il devient la “*mesure objective*” du risque, du mérite, de la pertinence, de la vulnérabilité. Dans cette logique, la question “*que vaut ce score ?*” écrase toutes les autres : on ne se demande plus *pour quoi* on l’utilise, *dans quelle proportion* il commande la décision, *quelles autres formes de jugement* il marginalise.
|
||
|
||
Le *visa d’affectation*, au contraire, dé-spectacularise la métrique pour *re-politiser l’usage qui en est fait*. Il n’empêche pas l’existence de scores ni leur usage ; il interdit simplement qu’un score devienne, par glissement silencieux, la clé de voûte d’une décision substantielle sans que cette assignation ait été aménagée, discutée, limitée.
|
||
|
||
Articulé au droit au différé contradictoire et au journal de justification, ce troisième geste archicratique transforme la manière dont Système F est inséré dans la régulation :
|
||
|
||
- le *droit au différé protège la personne au moment où la décision tombe* ;
|
||
|
||
- le *journal de justification conserve la mémoire des choix de conception et de déploiement* ;
|
||
|
||
- le visa d’affectation place, sur le trajet du score vers la décision, une scène obligatoire où l’on doit répondre d’une question simple et redoutable : *qu’avons-nous décidé de faire faire à ce nombre ?*
|
||
|
||
## VII.4. Coupe-circuit citoyen et suspension d’un système IA
|
||
|
||
Avec le droit au différé, le journal de justification et le visa d’affectation, nous avons desserré les mailles de la décision ordinaire : ralentir, expliquer, encadrer. Reste pourtant une question que les scandales récents rendent brutalement concrète : que se passe-t-il lorsqu’un système comme Système F produit déjà, à grande échelle, des dégâts manifestes ? Lorsque les familles endettées, les patients mal orientés, les allocataires injustement ciblés sont déjà là, identifiables, et que le dispositif continue néanmoins de tourner ?
|
||
|
||
C’est là qu’intervient le quatrième geste : le coupe-circuit citoyen. Il ne s’agit plus de mieux préparer l’usage d’un score, ni de garantir un recours individuel après coup, mais de reconnaître un droit collectif à suspendre provisoirement un système IA lorsque des indices sérieux montrent qu’il entame gravement la co-viabilité sociale ou les droits fondamentaux.
|
||
|
||
### VII.4.1. Des scandales qui auraient pu être arrêtés plus tôt
|
||
|
||
L’affaire SyRI aux Pays-Bas fournit un premier repère. Le système de profilage de fraude sociale, autorisé par la loi et déployé dans des quartiers pauvres, croisait de multiples bases de données pour produire des “indications de risque”. En février 2020, le tribunal de district de La Haye a jugé que le cadre légal de SyRI violait l’article 8 de la Convention européenne des droits de l’homme : manque de transparence, disproportion, atteinte excessive à la vie privée. Le tribunal a ordonné l’arrêt du système, mettant fin à des années d’utilisation expérimentale sur des populations déjà vulnérables.
|
||
|
||
Dans le scandale des allocations pour la garde d’enfants, c’est un autre outil de classification du risque qui, pendant des années, a servi à accuser à tort des dizaines de milliers de parents de fraude, avec des conséquences dramatiques : dettes, expulsions, placements d’enfants, stigmatisation de familles majoritairement issues de l’immigration. Les analyses d’Amnesty International montrent que la nationalité ou la double nationalité ont été utilisées comme facteurs de risque, produisant une discrimination systémique que ni les garde-fous internes ni les procédures ordinaires de recours n’ont suffi à enrayer.
|
||
|
||
Dans ces deux affaires, ce sont des coalitions associatives, des syndicats, des ONG de défense des droits qui ont joué le rôle de déclencheurs : mobilisations, enquêtes, recours collectifs, jusqu’au point où un juge ou un gouvernement reconnaît que “quelque chose ne va pas” et qu’il faut arrêter. Mais ce rôle est aujourd’hui exercé à la marge du dispositif, via des instruments de contentieux général (recours en annulation, actions en responsabilité, interpellations politiques) qui demandent des années, supposent des ressources militantes considérables et n’offrent aucun mécanisme d’arrêt provisoire.
|
||
|
||
À l’autre bout du spectre, certaines villes ont décidé par voie politique de bannir ou de suspendre des technologies controversées. San Francisco, par exemple, a interdit en 2019 à ses services municipaux l’usage de la reconnaissance faciale, au nom des risques pour la vie privée et des biais discriminatoires éprouvés, dans le cadre d’une ordonnance plus large de contrôle des technologies de surveillance. Ici, le “coupe-circuit” a pris la forme d’une décision politique délibérée, issue d’un travail d’ONG, de juristes, de collectifs de quartier ; mais ce geste n’est ni généralisé ni inscrit comme droit opposable dans la plupart des régimes juridiques.
|
||
|
||
Dans notre cas pratique, Système F condense précisément ce type de situations : systèmes de scoring déployés pendant des années avant l’intervention d’un tribunal ; outils de tri et de profilage qui affectent l’accès aux droits sans mécanisme d’arrêt rapide ; technologies de surveillance interdites localement mais autorisées ailleurs. Le constat archicratique est simple : les dispositifs existent pour arrêter un système IA, mais ils sont lents, asymétriques, réservés à des acteurs institutionnels (juges, ministres, autorités de surveillance). Ceux qui subissent au quotidien les effets de Système F n’ont pas, comme tels, de levier institutionnalisé pour dire : “stop, on suspend, on réexamine”.
|
||
|
||
### VII.4.2. Qui actionne le coupe-circuit ? Conditions de déclenchement et légitimité
|
||
|
||
Le *coupe-circuit citoyen* vise à combler cette asymétrie. Il consiste à *reconnaître, dans l’architecture même de la gouvernance de Système F, un droit de tirage collectif* : la faculté, pour des groupes clairement identifiés, de saisir une instance compétente afin de demander la suspension provisoire d’un système IA ou d’un de ses modules, lorsque des atteintes graves et répétées apparaissent.
|
||
|
||
Les détenteurs de ce droit ne sont pas “les citoyens” au sens vague, mais des *collectifs capables de relier les effets de Système F à des situations concrètes* : *associations de bénéficiaires de prestations sociales, syndicats de travailleurs sociaux, organisations de défense des droits fondamentaux, ordres professionnels* (médecins, avocats, magistrats), *syndicats de salariés dans des secteurs massivement équipés en IA, associations de patients, collectifs de modération*. L’exemple des mobilisations syndicales et associatives autour de l’usage de l’IA dans la fonction publique de l’État de New York, où une loi impose désormais aux agences d’évaluer régulièrement l’impact des technologies génératives sur les décisions publiques et sur les conditions de travail, montre que ces acteurs sont déjà au cœur des mécanismes émergents de surveillance et d’alerte.
|
||
|
||
Pour éviter la dérive vers un “référendum technologique permanent”, l’activation du coupe-circuit doit être encadrée par des *conditions de recevabilité* : *nombre minimal de plaignants lorsque des individus s’agrègent, mandat d’organisations reconnues, démonstration prima facie d’un dommage grave ou d’une atteinte sérieuse aux droits, fourniture d’éléments concrets* (séries de cas, analyses statistiques, témoignages convergents). L’objectif n’est ni de judiciariser chaque dysfonctionnement, ni de figer l’innovation, mais de donner une forme institutionnelle à ce qui, aujourd’hui, ne peut se dire que sous forme de scandale : “ce système ruine des vies, il faut l’arrêter”.
|
||
|
||
### VII.4.3. Effets de la demande : suspension provisoire, enquête contradictoire, issue scénique
|
||
|
||
Sur le plan procédural, le *coupe-circuit citoyen* ne se confond pas avec une action en responsabilité classique. Il ne vise pas d’abord l’indemnisation des victimes, même si celle-ci reste nécessaire ; il vise la *suspension rapide de l’usage d’un module* de Système F dans un contexte donné, *le temps d’une enquête contradictoire*.
|
||
|
||
Concrètement, l’architecture que nous proposons s’articule à ce qui existe déjà dans les régimes de régulation de l’IA. L’AI Act prévoit que les autorités de surveillance du marché peuvent restreindre ou interdire la mise sur le marché ou l’utilisation d’un système d’IA à haut risque lorsque celui-ci présente un risque grave pour la santé, la sécurité ou les droits fondamentaux, et impose des obligations de surveillance post-déploiement aux “déployeurs” comme aux fournisseurs. Des évaluations d’impact sur les droits fondamentaux sont requises avant le premier usage de certains systèmes publics à haut risque, avec obligation de mise à jour si le système évolue.
|
||
|
||
Le *coupe-circuit citoyen*, dans ce cadre, jouerait le *rôle de déclencheur formalisé d’une telle mesure de restriction ou de suspension*, lorsque les autorités ne se saisissent pas d’elles-mêmes :
|
||
|
||
- la *réception d’une demande jugée recevable obligerait l’autorité compétente* (ou l’instance archicratique instituée au niveau national ou sectoriel) à décider, dans un délai bref, si elle prononce une suspension provisoire du système ou du module visé dans le contexte concerné ;
|
||
|
||
- cette suspension, limitée dans le temps, serait assortie de l’*ouverture d’une enquête contradictoire* : audits indépendants, auditions des concepteurs, des déployeurs, des agents utilisateurs, des personnes affectées, analyses externes des données et des effets ;
|
||
|
||
- à l’issue de cette enquête, plusieurs issues seraient possibles : remise en service sous conditions nouvelles (révision de la fonction de coût, restriction du champ d’usage, nouvelles garanties procédurales), retrait du système dans le contexte considéré, ou interdiction plus large si le risque est jugé systémique.
|
||
|
||
Dans les faits, des décisions de ce type ont déjà été prises, mais sans dispositif archicratique explicite : le tribunal de La Haye a stoppé SyRI, le gouvernement néerlandais a fini par abandonner l’algorithme de profilage des familles bénéficiaires, des villes ont banni la reconnaissance faciale. Ce que le *coupe-circuit citoyen* propose, c’est de *transformer ces moments exceptionnels en procédure ordinaire, accessible, opposable, dotée de délais et de garanties*.
|
||
|
||
### VII.4.4. Une archicration d’urgence : de la plainte dispersée à la scène instituée
|
||
|
||
Du point de vue archicratique, le coupe-circuit citoyen n’est pas un simple mécanisme de précaution ; c’est une *forme particulière d’archicration d’urgence*. Là où le droit au différé protège l’individu face à une décision singulière, le coupe-circuit crée une scène pour les situations où la répétition des décisions injustes devient elle-même un fait social.
|
||
|
||
Dans Système F, les plaintes se présentent souvent de manière dispersée : un allocataire ici, un justiciable là, un patient ailleurs, un candidat qui soupçonne un tri discriminatoire, un utilisateur de plateforme dont le contenu a disparu sans explication. Chacun peut, dans le meilleur des cas, exercer des recours individuels ou saisir une autorité. Mais tant que ces plaintes ne sont pas agrégées dans une scène commune, la cratialité IA conserve l’avantage : elle continue de produire ses effets à grande échelle, pendant que les victimes se débattent dossier par dossier.
|
||
|
||
Le *coupe-circuit*, tel que nous le concevons, opère un double mouvement. Il *agrège des situations* – trente dossiers de suspension de prestations qui présentent les mêmes motifs, une série de décisions pénales manifestement corrélées à un score, des centaines de contenus militants effacés dans un contexte politique tendu – et il *convertit cette agrégation en droit scénique* : le droit de contraindre les autorités à organiser une comparution publique du système lui-même, non seulement des décisions prises en aval.
|
||
|
||
Ce geste répond à la *dérive autarchicratique* identifiée plus haut. Dans un méta-régime où les modèles, les indicateurs et les tableaux de bord tendent à devenir leurs propres critères de validité, où les obligations de “monitoring” restent confinées dans des rapports techniques, le coupe-circuit citoyen réintroduit une *hétérotopie de contrôle* : un *lieu où ceux qui subissent ont la capacité de demander, et d’obtenir, que l’on débranche provisoirement la machine pour en examiner les fondements, les chaînes et les effets*.
|
||
|
||
Articulé aux autres gestes – droit au différé, journal de justification, visa d’affectation, tribunaux de l’algorithme, budgets scéniques –, le coupe-circuit citoyen fait apparaître, au cœur même de la gouvernance de Système F, un principe simple et radical : *aucun système d’IA ne doit pouvoir continuer à gouverner des trajectoires humaines lorsque des preuves raisonnables montrent qu’il les détruit*. Il doit toujours exister, quelque part dans l’architecture, un bouton d’arrêt que les intéressés ne se contentent pas d’implorer, mais qu’ils ont le droit reconnu de demander à actionner.
|
||
|
||
## VII.5. Tribunal de l’algorithme
|
||
|
||
Dans la séquence des gestes archicratiques, le “tribunal de l’algorithme” est sans doute celui qui condense le plus nettement notre intuition centrale : sortir les systèmes d’IA de la pure gouvernementalité technique pour les faire comparaître devant une instance instituée, contradictoire, dotée d’une mémoire publique. Autrement dit : transformer un objet technico-organisationnel en partie prenante d’un contentieux politique, juridique et social explicite.
|
||
|
||
### VII.5.1. De l’ombre des comités à une instance d’archicration instituée
|
||
|
||
Nous disposons déjà, dans le paysage contemporain, de plusieurs esquisses d’instances quasi-judiciaires autour des dispositifs numériques :
|
||
|
||
- le *Meta Oversight Board*, conçu comme organe indépendant de réexamen de décisions de modération de contenus, est couramment décrit comme un “*appareil para-judiciaire*” *de justice privée des plateformes* ;
|
||
|
||
- les *mécanismes de règlement extrajudiciaire des litiges* prévus par le Digital Services Act pour certains types de contentieux de plateforme ;
|
||
|
||
- diverses formes de médiateurs numériques, de commissions de médiation ou de panels d’experts.
|
||
|
||
Ces dispositifs ont une vertu : ils prouvent qu’il est possible d’instituer des scènes de jugement autour de décisions techniques, en produisant des décisions motivées, publiées, parfois rétroactives. Mais ils illustrent aussi leurs *limites* : *périmètre très restreint* (contenus, non architectures), *dépendance structurelle vis-à-vis des acteurs privés, absence de pouvoir contraignant sur les modèles eux-mêmes*.
|
||
|
||
Notre geste ne consiste pas à “copier” ces dispositifs, mais à en tirer une leçon archicratique : tant que l’IA reste traitée comme un simple facteur de contexte dans les litiges (un élément du dossier parmi d’autres), la scène judiciaire n’accède pas à sa dimension de régime régulateur. Le *tribunal de l’algorithme* vise au contraire à faire de l’IA – de Système F en particulier – un *objet principal de contentieux*, et non un décor.
|
||
|
||
### VII.5.2. Mandat : juger des dispositifs, pas seulement des cas individuels
|
||
|
||
Un *tribunal de l’algorithme* ne serait pas une juridiction parallèle qui se substituerait aux tribunaux ordinaires. Il serait une *instance spécialisée, dotée d’un mandat double* :
|
||
|
||
1. *Contentieux systémique* : *instruire des affaires qui portent sur le fonctionnement d’ensemble d’un système IA déployé dans un secteur donné* (protection sociale, santé, justice, plateformes, recrutement), *dès lors qu’il existe des indices sérieux d’atteintes répétées à des droits fondamentaux* (discrimination, opacité illégale, violation du droit au recours effectif, etc.). Sur ce point, l’expérience de la régulation européenne par “systèmes à haut risque” sous l’AI Act – où l’on sanctionne la mise sur le marché et l’usage d’un système non conforme – fournit un précédent partiel, mais sans scène publique contradictoire centrée sur ce système particulier.
|
||
|
||
2. *Contentieux de principes* : *examiner, à partir de cas emblématiques, la compatibilité des architectures de scoring, de profilage ou de recommandation avec une série de principes substantiels* (non-discrimination, proportionnalité des atteintes, respect de la présomption d’innocence, etc.), *en s’autorisant à formuler des injonctions structurelles* : modification de la fonction de coût, interdiction de certains proxies, obligation de créer des mécanismes de droit au différé, etc.
|
||
|
||
Dans l’esprit archicratique, il s’agit de mettre en procès la configuration arcalité / cratialité / archicration de Système F chaque fois qu’elle produit, en série, des *effets de non co-viabilité*.
|
||
|
||
### VII.5.3. Composition : pluralité de prises et indépendance exigeante
|
||
|
||
Une telle instance ne gagne en légitimité archicratique que si sa composition rompt avec le face-à-face technicien / juriste. Les travaux récents sur les “technology courts” et les organes quasi-judiciaires privés montrent que la légitimité d’instances de ce type dépend fortement de leur indépendance vis-à-vis des entreprises et de la diversité des profils qui y siègent.
|
||
|
||
Transposée à notre cas, cette exigence implique au minimum :
|
||
|
||
- Un *pôle juridico-institutionnel* : magistrats, avocats, spécialistes du contentieux anti-discrimination, de la protection sociale, du droit de la santé ou du travail, *capables de traduire les atteintes produites par Système F dans les langages du droit existant* (procédural et substantiel).
|
||
|
||
- Un *pôle technico-épistémique* : experts en apprentissage automatique, en science des données, mais aussi en métrologie et en évaluation des politiques publiques, pour *décortiquer la cratialité* IA : jeux de données, proxies, métriques, chaînes de traitement.
|
||
|
||
- Un *pôle socio-politique et expérientiel* : représentants des groupes les plus exposés aux systèmes étudiés (allocataires, patients, minorités racialisées, travailleurs précaires, associations de défense), dont la présence n’est pas cantonnée à une consultation préliminaire, mais intégrée structurellement à la délibération.
|
||
|
||
Cette composition ne garantit pas mécaniquement la justice, mais elle rend possible une *archicration réelle* : *la confrontation, dans une même scène, de la description technique du dispositif, des exigences juridiques de protection, et de l’expérience vécue des personnes affectées*.
|
||
|
||
L’*indépendance*, elle, suppose : des *mandats suffisamment longs*, une *nomination par plusieurs autorités* (par exemple Parlement, autorités de régulation, organisations représentatives), un *financement pluriel et sécurisé* (éventuellement abondé par une fraction des amendes administratives prévues par l’AI Act, à la manière de certains fonds d’accès au droit). Sans cela, le tribunal de l’algorithme se réduirait à un comité d’entreprise sous un autre nom.
|
||
|
||
### VII.5.4. Procédure : organiser le différé, le contradictoire, la publicité
|
||
|
||
Sur le plan procédural, l’enjeu est de sortir d’une logique purement experte pour instituer une scène lisible. Plusieurs éléments sont décisifs.
|
||
|
||
D’abord, la *saisine* : *l’instance doit pouvoir être saisie par des individus, des collectifs, des associations, mais aussi par des autorités publiques* (défenseur des droits, régulateurs sectoriels, autorités de protection des données) lorsqu’ils constatent des dommages répétés liés à un même système. Les expériences canadiennes de Directive sur la prise de décision automatisée, qui imposent des évaluations d’impact et des obligations de transparence proportionnées au niveau de risque, fournissent un socle intéressant, mais sans offrir à ce stade une instance scénique de jugement. Le tribunal de l’algorithme en serait le prolongement contentieux.
|
||
|
||
Ensuite, l’*accès aux éléments techniques* : contrairement à de nombreux contentieux actuels où l’algorithme reste une boîte noire même pour le juge, l’instance doit *disposer d’un droit d’accès étendu aux documents techniques pertinents* : documentation sur les données, description de l’architecture, choix de proxies, logs d’exécution, rapports d’audit, communications internes pertinentes. *Le régime de secret industriel ne peut pas y servir de paravent général*, sauf à reconduire l’*oblitération archicratique* sous un langage juridique nouveau. Sur ce point, les débats autour de la possibilité d’une découverte électronique algorithmique ou de règles procédurales spécifiques aux plateformes montrent que le droit est en train de s’ouvrir, mais de façon encore très fragmentaire.
|
||
|
||
Troisième élément : le *contradictoire élargi*. Le tribunal n’instruit pas seulement une opposition entre “demandeur” et “défendeur”, mais une *controverse sur la conception même du dispositif*. Une suspension provisoire d’un système ou d’un module de Système F – déclenchée par le geste de “*coupe-circuit*” décrit précédemment – pourrait *donner lieu à une audience regroupant concepteurs, décideurs politiques, usagers, experts, pour débattre publiquement des options de remédiation* : changer de proxy, ajuster la fonction de coût, renoncer à certains usages.
|
||
|
||
Enfin, la *publicité* : les *décisions du tribunal de l’algorithme doivent être motivées, rendues publiques, indexées, afin de constituer, au fil du temps, une jurisprudence de l’IA*. De la même façon que le *Meta Oversight Board* publie des décisions détaillées et des recommandations sur les politiques de contenu, mais avec un *mandat élargi aux architectures*, le tribunal constituerait un répertoire de cas qui reconfigure progressivement ce qu’il est socialement acceptable de déléguer à Système F.
|
||
|
||
### VII.5.5. Effets : de la justice réparatrice à la transformation des régimes
|
||
|
||
Un *tribunal de l’algorithme*, pris au sérieux, ne serait ni une panacée, ni un simple label de “bonne gouvernance”. Dans notre perspective archicratique, son intérêt tient à trois types d’effets.
|
||
|
||
D’abord, un *effet réparateur,* en offrant aux personnes affectées un lieu où formuler une plainte qui ne soit pas uniquement anticipée en langage actuariel. Une allocataire injustement stigmatisée comme fraudeuse, un patient systématiquement déclassé, une personne noircie par un score pénal, un candidat invisibilisé par un tri automatisé, un utilisateur dont les contenus sont constamment dépréciés, trouvent là un lieu où demander non seulement réparation, mais réforme du dispositif qui produit ces injustices.
|
||
|
||
Ensuite, un *effet structurant* : *chaque contentieux emblématique conduit à des obligations de restructuration* de Système F – interdiction de certaines variables, modification des fonctions de coût, obligation de co-construire des scènes de justification, de renforcer les journaux de justification, d’ouvrir de nouveaux droits au différé. Ces décisions s’articulent avec les *exigences réglementaires plus générales* (AI Act, directives nationales, codes de conduite), mais en les traduisant dans une *grammaire concrète d’architectures et de procédures*.
|
||
|
||
Enfin, un *effet symbolique et politique* : l’existence même de l’instance rappelle que les grands systèmes d’IA ne sont pas des fatalités technologiques mais des objets discutables. Elle contribue à déplacer le centre de gravité de la “gouvernance de l’IA” – aujourd’hui largement concentrée dans des arènes technico-administratives – vers des *scènes où les controverses sur les fondements et les effets deviennent visibles, argumentables, appropriables par d’autres que les seuls spécialistes*.
|
||
|
||
On pourrait dire, en condensant : *le tribunal de l’algorithme est la forme archicratique de ce qui n’est, pour l’instant, qu’une exigence abstraite de “redevabilité”* (*accountability*). Là où les audits internes, les rapports de conformité, les codes de bonnes pratiques se déploient dans des *hypertopies fermées*, le tribunal réinstalle au centre un principe simple : *aucune régulation puissante ne doit rester sans scène où elle puisse être mise en cause, contrée, transformée*.
|
||
|
||
Ce geste ne remplace pas les autres – droit au différé, journaux de justification, visas d’affectation, coupe-circuits, budgets scéniques – ; il les rassemble. Le *tribunal de l’algorithme* leur donne un *débouché commun* : *un lieu où les tensions accumulées dans les chaînes de décision appuyées par IA peuvent enfin être prises à bras-le-corps, dans une archicration instituée, durable, publiquement assumée*.
|
||
|
||
## VII.6. Assemblées d’affectation et budget scénique IA
|
||
|
||
*Avec le droit au différé, le journal de justification, le visa d’affectation, le coupe-circuit citoyen et le tribunal de l’algorithme, nous avons surtout travaillé la face “contrôle” de Système F : comment ralentir, contester, suspendre, juger*. Reste une autre question, plus discrète mais décisive : *où, dans la vie ordinaire des institutions, se décide ce que l’on va demander à l’IA de faire ?* *Qui fixe les usages jugés légitimes, les tâches à déléguer, les places qu’on refuse de céder ?*
|
||
|
||
C’est à cette question que répond le geste des *assemblées d’affectation*, indissociable d’un *budget scénique IA* : tant que les décisions d’usage restent prises dans des cénacles techniques ou managériaux, la meilleure architecture de contrôle sera toujours en retard d’une bataille.
|
||
|
||
### VII.6.1. Faire émerger les scènes amont : sortir l’affectation du huis clos managérial
|
||
|
||
Dans le fonctionnement actuel de Système F, les grandes décisions d’affectation – “nous allons confier à l’IA le tri de ces dossiers”, “nous allons l’intégrer à cette étape de la procédure”, “nous allons laisser le modèle pré-prioriser les patients”, etc. – se prennent rarement sur une scène explicite.
|
||
|
||
Elles sont le plus souvent le produit de trajectoires très ordinaires : un appel à projets ministériel, une offre de prestataire, un argumentaire d’“innovation”, quelques ateliers de co-design avec des agents “pilotes”, une validation en comité de direction. Au bout du processus, l’IA est là, dans l’écran ; les agents utilisateurs ne l’ont pas vraiment décidée, les publics concernés *a fortiori* encore moins.
|
||
|
||
*Les assemblées d’affectation ont pour fonction de repolitiser ce moment amont* : avant de décider que Système F interviendra dans la chaîne de décision sociale, sanitaire, pénale, éducative, il faut l’avoir débattu, non pas à l’échelle abstraite de “l’IA en général”, mais au niveau très concret des tâches et des enjeux :
|
||
|
||
- *Dans cette caisse sociale, veut-on vraiment que le classement des dossiers par “risque” soit automatisé ?*
|
||
|
||
- *Dans cet hôpital, quelles décisions peuvent être assistées par un score sans porter atteinte à la relation clinique ?*
|
||
|
||
- *Dans ce tribunal, jusqu’où accepte-t-on qu’un indice de récidive infléchisse les pratiques de peine ?*
|
||
|
||
- *Dans cette entreprise, quelles étapes du recrutement doivent impérativement rester hors de portée d’un modèle ?*
|
||
|
||
Le geste archicratique est simple : on ne délègue pas des segments entiers de souveraineté quotidienne à Système F sans qu’il y ait eu, quelque part, une scène où cette délégation a été assumée, discutée, encadrée.
|
||
|
||
### VII.6.2. Assemblées d’affectation : composition et temporalité
|
||
|
||
Une assemblée d’affectation n’est pas un “*focus group*” *marketing* ni un énième comité d’éthique consultatif. C’est un organe régulier de mise en scène des choix d’usage de l’IA dans un secteur donné.
|
||
|
||
Dans un service de protection sociale, par exemple, elle réunirait périodiquement :
|
||
|
||
- des *agents de guichet et de back-office*, qui savent comment les dossiers “vivent” réellement ;
|
||
|
||
- des *responsables de service et des directions*, qui portent les contraintes budgétaires et organisationnelles ;
|
||
|
||
- des *représentants des allocataires et des associations de soutien* (syndicats de chômeurs, collectifs de lutte contre la pauvreté, défenseurs des droits) ;
|
||
|
||
- des *délégués des services numériques, internes ou prestataires*, capables d’exposer les possibilités et les limites techniques ;
|
||
|
||
- éventuellement un *représentant de l’autorité de régulation compétente*.
|
||
|
||
En santé, on recomposerait le cercle : équipes médicales et paramédicales, direction d’établissement, représentants des patients et de leurs familles, services informatiques, éventuellement assurance maladie. En justice, magistrats, avocats, greffiers, associations de justiciables, autorités de contrôle ; sur les plateformes, modérateurs, représentants d’usagers, associations de journalistes et de défense des libertés, équipes produit.
|
||
|
||
Le mandat de l’assemblée n’est pas de réécrire le code, mais de décider des tâches que l’on confie ou non à Système F :
|
||
|
||
- *quelles fonctions sont éligibles à l’automatisation partielle* (pré-tri, assistance à la rédaction, alerte) ;
|
||
|
||
- *quelles fonctions doivent rester humaines* (décision finale, appréciation contextuelle, accueil, audition, annonce de décisions sensibles) ;
|
||
|
||
- *quelles combinaisons sont acceptables* (par exemple : pré-classement algorithmique + revue systématique humaine pour les cas à fort enjeu) ;
|
||
|
||
- *quelles affectations sont d’emblée exclues* (par exemple : suspension automatique de droits sans intervention humaine, tri de patients pour des soins vitaux selon une probabilité de “rentabilité”, etc.).
|
||
|
||
Ces décisions ne sont pas flottantes : elles deviennent des *engagements opposables vecteurs de promesses*. Lorsqu’un module de Système F est ensuite introduit dans un flux de travail, son déploiement doit être conforme aux affectations décidées par l’assemblée – sous peine de contentieux et de révision.
|
||
|
||
Ces assemblées doivent se réunir :
|
||
|
||
- *en amont de tout projet important de déploiement ou d’extension* de Système F ;
|
||
|
||
- *à intervalles réguliers* (par exemple trimestriels ou semestriels), pour *réexaminer les usages effectifs à partir de rapports d’impact, de plaintes, de données agrégées* ;
|
||
|
||
- *de manière exceptionnelle, lorsque des signaux d’alerte* (recours massifs, activation d’un coupe-circuit, procédures devant un tribunal de l’algorithme) *révèlent un problème structurel*.
|
||
|
||
Autrement dit, elles sont l’équivalent, dans la gouvernance de l’IA, de ce que sont les conférences de service, les conseils d’administration ou les comités d’entreprise pour d’autres dimensions de l’activité : des lieux où l’on décide à quelles conditions on accepte qu’un dispositif reconfigure le travail et les droits.
|
||
|
||
### VII.6.3. Le budget scénique IA : financer le temps, la traduction, la contradiction
|
||
|
||
Reste une question triviale et décisive : *qui paie pour tout cela ?*
|
||
|
||
Car les assemblées d’affectation, les journaux de justification, les visas, les tribunaux de l’algorithme, les droits au différé, tout cela a un *coût* : *temps de réunion, d’enquête, d’audit ; travail de traduction entre les langages techniques, juridiques et ordinaires ; rémunération des intervenants extérieurs et des expertises critiques ; compensation du temps consacré par les représentants d’usagers ou de patients*.
|
||
|
||
Si ces coûts sont laissés à la marge, ils seront mécaniquement rognés : la scène archicratique sera la première variable d’ajustement lorsque les budgets se tendront. Le *budget scénique* IA vise précisément à *empêcher cette évaporation silencieuse en consacrant une ligne budgétaire dédiée à la tenue des scènes archicratiques* autour de Système F.
|
||
|
||
Très concrètement, cela signifie par exemple :
|
||
|
||
- qu’une proportion fixe des budgets alloués aux projets d’IA publics (développement, intégration, licences, maintenance) est réservée, *ex ante*, aux dispositifs de scène : assemblées d’affectation, ateliers de restitution, traductions, expertises indépendantes, appuis juridiques ;
|
||
|
||
- que les contrats passés avec les fournisseurs et intégrateurs de Système F incluent l’obligation de financer une partie de cette scène (par exemple, comme condition de référencement dans la commande publique) ;
|
||
|
||
- que des fonds spécifiques – éventuellement alimentés par les amendes administratives liées aux manquements à la régulation de l’IA – peuvent abonder ce budget scénique pour garantir la participation de publics qui, autrement, n’auraient ni le temps ni les moyens de siéger (associations de terrain, syndicats de petites structures, collectifs de personnes concernées).
|
||
|
||
Le *budget scénique* IA est une *composante constitutive du coût de la régulation*. Tant qu’on ne compte que les serveurs, les heures de développement et les licences logicielles, la scène sera structurellement sous-dotée. L’*archicratie oblige à requalifier la dépense* : *faire apparaître Système F, le discuter, le contrôler, fait partie de ce qu’il en coûte de l’utiliser*.
|
||
|
||
### VII.6.4. Assemblées + budget : ramener la décision sur la scène, en amont
|
||
|
||
Articulées aux gestes précédents, les assemblées d’affectation et le budget scénique IA produisent un effet de structure sur notre cas pratique.
|
||
|
||
D’abord, elles déplacent la frontière entre “technique” et “politique” : décider que Système F interviendra uniquement comme aide à la décision dans certains cas, qu’il sera interdit pour d’autres, que certains usages seront soumis à conditions strictes, n’est plus une affaire de “feuille de route numérique”, mais un *objet de délibération collective récurrente*.
|
||
|
||
Ensuite, elles stabilisent un espace où les compromis acceptables peuvent être explicités : à quel prix de faux positifs ou faux négatifs une communauté professionnelle accepte-t-elle de se doter d’un module de tri ? Quelles tâches gagne-t-on vraiment à transférer à Système F, et lesquelles doit-on maintenir dans un face-à-face humain, même au prix d’une moindre efficacité apparente ? Sans assemblées d’affectation, ces arbitrages restent diffus, dissous dans des grilles de priorisation et des études d’impact.
|
||
|
||
Enfin, le *budget scénique* IA garantit que ces scènes ne sont pas une faveur, mais un *droit inscrit dans l’architecture financière même du système*. Il devient plus coûteux, politiquement et comptablement, de déployer Système F sans scène adéquate que de financer cette scène.
|
||
|
||
Là où la trajectoire spontanée de Système F le pousse vers une *autarchicratie discrète* – *indicateurs qui se co-certifient, décisions d’usage prises dans des hybrides techno-managériaux, utilisateurs mis devant le fait accompli* –, le *couple assemblées d’affectation / budget scénique réintroduit, en amont, ce que tout le cas pratique cherche à réhabiliter : le droit de décider ensemble des formes de régulation que l’on veut bien se laisser imposer par les machines*.
|
||
|
||
## VII.7. Principe de révision archicrative et cartographie des scènes manquantes
|
||
|
||
Avec les gestes précédents, nous avons donné à Système F des *prises scéniques nouvelles* : *droit au différé, journaux de justification, visas d’affectation, coupe-circuits, tribunaux, assemblées, budgets scéniques*. Mais un dispositif régulateur n’est jamais figé : il se reparamètre, se re-déploie, change de données, migre vers d’autres usages, se voit couplé à de nouveaux indicateurs. Sans une *obligation explicite de révision archicrative*, tout ce que nous avons institué risque d’être contourné au fil des “mises à jour”, des “optimisations”, des “évolutions” de plateformes.
|
||
|
||
Le *principe de révision archicrative* vise précisément cela : faire de la remise en scène périodique de Système F une exigence de droit, non une faveur occasionnelle. Et, pour que cette révision ne se contente pas de regarder ce qui existe déjà, il faut l’outiller par une cartographie systématique des scènes manquantes le long de la chaîne IA.
|
||
|
||
### VII.7.1. La *révision archicrative*, ou l’obligation de rejouer la scène
|
||
|
||
Dans l’univers des systèmes techniques, l’idée de révision n’a rien de nouveau : mises à jour logicielles, audits de sécurité, re-certifications, contrôles de conformité. Mais ces révisions se déroulent, le plus souvent, hors scène : entre ingénieurs, responsables de conformité, contre-experts mandatés, sans que le dispositif soit ramené, à intervalles réguliers, devant ceux qu’il affecte.
|
||
|
||
La *révision archicrative* se distingue radicalement de ce modèle. Elle repose sur trois principes.
|
||
|
||
**Premier principe : *la périodicité comme droit, non comme opportunité***
|
||
|
||
Il ne s’agit pas de prévoir vaguement que “le système sera réévalué en cas de problème”, mais d’inscrire une périodicité minimale dans les textes qui encadrent l’usage de Système F. Par exemple : tout système IA classé à haut enjeu social (protection sociale, santé, justice, éducation, travail, logement) doit *faire l’objet, toutes les X années, d’une révision publique, quel que soit son état apparent de fonctionnement*. Cette périodicité peut être modulée selon le niveau de risque, mais elle ne peut pas être laissée à la discrétion de l’opérateur.
|
||
|
||
**Deuxième principe : *la révision comme scène d’épreuve, et non comme simple “checklist”***
|
||
|
||
Une *révision archicrative* n’est pas un contrôle de conformité supplémentaire où l’on coche des cases (“évaluation d’impact réalisé”, “biais évalués”, “documentation à jour”). C’est un moment où Système F est explicitement convoqué devant une instance qui ressemble davantage à une *assemblée* qu’à un bureau d’homologation :
|
||
|
||
- on y *présente ce que le système fait réellement, là où il est déployé, avec des cas, des chiffres, des témoignages* ;
|
||
|
||
- on y *examine les journaux de justification et les visas d’affectation* : *les décisions prises en amont ont-elles été respectées, contournées, dépassées ?*
|
||
|
||
- on y *écoute les agents et les personnes affectées* : *quels effets inattendus, quelles injustices, quelles tensions ont émergé ?*
|
||
|
||
- on y *remet en discussion les fondements implicites* (proxies, fonctions de coût, seuils) *à la lumière de ce qui a été appris depuis le déploiement*.
|
||
|
||
**Troisième principe : *la révision comme possibilité assumée de renoncement***
|
||
|
||
Un dispositif archicratique n’est pas obligé de se maintenir coûte que coûte. La *révision archicrative* doit explicitement ouvrir la *possibilité de déclassement* : décider que, malgré les investissements consentis, Système F n’est pas acceptable dans tel segment de la chaîne (par exemple pour la suspension automatique de droits, pour la priorisation de patients en situation de rareté extrême, pour le calcul d’un indice pénal). Sans cette possibilité de renoncement formalisée, la révision se réduit à une optimisation interne – l’*autarchicratie* continue sa course, simplement mieux calibrée.
|
||
|
||
*L’obligation juridique de révision archicrative est donc un verrou contre la fuite en avant* : elle impose de rejouer périodiquement la scène, avec les acteurs concernés, au lieu de laisser Système F poursuivre sa trajectoire sous couvert de “maintenance” et de “modernisation”.
|
||
|
||
### VII.7.2. Rythmes, déclencheurs et objets de la révision
|
||
|
||
Pour que ce principe ne reste pas une formule, il faut le traduire dans une cinétique et dans des objets précis.
|
||
|
||
Sur le plan des rythmes, la *révision archicrative* combine deux logiques :
|
||
|
||
- une *révision ordinaire, programmée, qui a lieu à échéance fixe* (par exemple tous les trois ou six mois) pour chaque module de Système F utilisé dans un domaine sensible ;
|
||
|
||
- une *révision extraordinaire, déclenchée par des signaux forts* : activation d’un coupe-circuit citoyen, accumulation de recours, constat d’effets discriminatoires massifs, alertes des autorités de contrôle, révélations d’enquêtes journalistiques ou scientifiques.
|
||
|
||
Cette double temporalité évite le double écueil symétrique : l’endormissement des révisions formelles d’un côté (on reconduit tous les cinq ans ce que l’on faisait déjà), la gestion au coup par coup des scandales de l’autre.
|
||
|
||
Sur le plan des objets, la révision archicrative doit se déployer sur l’ensemble de la chaîne IA, et non sur les seuls résultats. Cela implique au minimum :
|
||
|
||
- Les *données* : composition des jeux d’entraînement et d’évaluation, trajectoires des données collectées depuis la précédente révision, corrections apportées (ou non) aux biais connus, décisions de conserver ou d’abandonner certaines sources.
|
||
|
||
- Les *modèles* : architecture générale, modifications significatives (changement de modèle de fondation, fine-tuning sur de nouveaux corpus, ajustement majeur de la fonction de coût), performances mesurées sur différents groupes, incidence des changements sur les profils déjà identifiés comme vulnérables.
|
||
|
||
- Les *usages* : extension des domaines où Système F est employé (par exemple un score conçu pour le tri interne des dossiers réutilisé pour déclencher automatiquement des contrôles), réaffectation des sorties du modèle (une recommandation devenue quasi-obligation), couplage à d’autres systèmes de décision.
|
||
|
||
- Les *scènes déjà existantes* : fonctionnement du droit au différé, effectivité des voies de recours, usage réel des journaux de justification et des visas d’affectation, activation éventuelle de coupe-circuits ou de tribunaux de l’algorithme, tenue (ou non) des assemblées d’affectation.
|
||
|
||
La révision archicrative ne se contente donc pas de demander : “le système est-il conforme au règlement ?” Elle pose une série de questions archicratiques : *les fondements sont-ils encore tenables ? La cratialité s’est-elle déplacée, intensifiée, hybridée ? Les archicrations prévues ont-elles vraiment joué leur rôle ?*
|
||
|
||
### VII.7.3. Cartographier les scènes manquantes : du diagnostic à la programmation
|
||
|
||
Toutefois, pour organiser efficacement ces révisions, il ne suffit pas de regarder là où la lumière existe déjà. Il faut aussi s’intéresser aux *zones d’ombre* : les *segments de la chaîne où aucune scène n’existe encore, où les décisions déterminantes se prennent sans jamais être mises en épreuve*. C’est l’objet de la *cartographie des scènes manquantes*.
|
||
|
||
On peut la définir comme un travail en trois temps.
|
||
|
||
Premier temps : dérouler finement la chaîne de Système F dans un contexte donné.
|
||
Il s’agit de décrire, avec une précision presque ethnographique, les étapes successives :
|
||
|
||
- *formulation initiale du problème* (“nous voulons lutter contre la fraude”, “nous devons prioriser les patients à risque”, “nous voulons réduire les coûts de traitement des dossiers”) ;
|
||
|
||
- *choix des données et construction des jeux d’entraînement* (quelles bases, quels filtres, quels critères d’inclusion et d’exclusion ?) ;
|
||
|
||
- *définition des variables et des proxies* (ici les coûts de santé comme substitut des besoins, là la nationalité comme indicateur de risque, ailleurs le passé de recrutement comme modèle du talent) ;
|
||
|
||
- *entraînement et validation du modèle* (quelles métriques optimisées, quelles notions de “performance” privilégiées, quels groupes utilisés pour tester l’équité ?) ;
|
||
|
||
- *intégration dans des logiciels métier* (comment le score est-il présenté, à qui, sous quelle forme, avec quelles options d’acceptation ou de contournement ?) ;
|
||
|
||
- *usage au guichet, au cabinet, à l’audience, à l’accueil* (qui voit quoi, à quel moment, avec quelle marge de manœuvre ?) ;
|
||
|
||
- *voies de recours et de réexamen* (où les personnes peuvent-elles contester, avec quel délai, quelles informations, quelle chance réelle d’être entendues ?) ;
|
||
|
||
- *instances de supervision et de régulation* (qui surveille le système, à partir de quels indicateurs, avec quels pouvoirs de modification ou de suspension ?).
|
||
|
||
Deuxième temps : *superposer le maillage scénique*.
|
||
Pour chacun de ces segments, on demande : *existe-t-il une scène instituée où ce segment peut être mis en épreuve ?* Une scène où des acteurs multiples peuvent :
|
||
|
||
- voir ce qui s’y joue ;
|
||
|
||
- en contester les présupposés ;
|
||
|
||
- exiger des modifications.
|
||
|
||
Dans certains cas, la réponse sera positive : une assemblée d’affectation délibère sur les usages, un tribunal de l’algorithme peut être saisi des effets discriminatoires, des audiences publiques accompagnent les révisions. Dans d’autres, la réponse sera négative :
|
||
|
||
- nulle part on ne discute publiquement du choix de proxy ;
|
||
|
||
- nulle part les seuils de bascule entre “normal” et “à risque” ne sont mis en scène ;
|
||
|
||
- nulle part les trajectoires de données (qui est entré, qui est sorti de l’entraînement) ne sont présentées aux personnes concernées.
|
||
|
||
Ces absences ne sont pas des oublis anecdotiques : ce sont les points d’appui de l’autarchicratie. Là où aucune scène n’est prévue, les décisions de fond restent captives des seuls acteurs techniques et gestionnaires.
|
||
|
||
Troisième temps : *programmer la création de scènes là où il n’y en a pas*.
|
||
La cartographie ne vaut que si elle débouche sur un plan de transformation. Une fois identifiées, les scènes manquantes doivent être assignées :
|
||
|
||
- tel segment (choix des données, définition des proxies) relève d’une scène à construire au niveau des assemblées d’affectation, avec expertise indépendante et participation des groupes les plus exposés ;
|
||
|
||
- tel autre (ajustement des métriques, modification des seuils) doit être rattaché au périmètre du tribunal de l’algorithme, qui pourra exiger leur reconfiguration ;
|
||
|
||
- tel autre encore (modalités concrètes de recours, délais effectifs, formulation des lettres de décision) doit faire l’objet de scénographies de terrain : ateliers avec agents, juristes et usagers pour co-écrire des formes de communication et de notification compatibles avec les exigences archicratiques.
|
||
|
||
La cartographie des scènes manquantes fonctionne ainsi comme une grille de programmation : elle dit non seulement où se trouvent les trous, mais quel type de scène doit venir les combler, avec quel mandat, quelle composition, quels liens avec les autres gestes.
|
||
|
||
### VII.7.4. De la révision comme maintenance à la révision comme politique
|
||
|
||
En combinant principe de révision archicrative et cartographie des scènes manquantes, nous faisons subir à Système F un déplacement décisif.
|
||
|
||
Dans sa trajectoire spontanée, la révision de l’IA est traitée comme une affaire de maintenance : on met à jour le modèle, on corrige des bugs, on ajuste des paramètres, on réécrit quelques règles, on produit un rapport de conformité. La scène, lorsqu’elle existe, arrive en bout de chaîne, sous la forme de scandales ou de contentieux isolés.
|
||
|
||
Dans la perspective archicratique, la révision devient une politique à part entière :
|
||
|
||
- elle est périodique, instituée, attendue – pas seulement réactive ;
|
||
|
||
- elle prend Système F comme objet central de l’épreuve, et non comme simple arrière-plan ;
|
||
|
||
- elle s’adosse à une cartographie qui évite la myopie : on ne regarde plus seulement là où il y a déjà des procédures, mais aussi là où il n’y en a pas encore.
|
||
|
||
Autrement dit, *la révision archicrative est le geste qui empêche les autres gestes de se fossiliser*. Sans elle, le droit au différé risque d’être lentement rogné, les journaux de justification transformés en formalité, les visas d’affectation contournés à coup de nouveaux cas d’usage, les tribunaux de l’algorithme cantonnés à quelques affaires exemplaires, les assemblées d’affectation reléguées au rôle de chambres d’enregistrement.
|
||
|
||
Avec elle, Système F sait – ou plutôt : ceux qui le conçoivent, le déploient et le subissent savent – qu’il sera périodiquement rappelé sur scène, non seulement pour répondre de ses écarts, mais pour rediscuter les raisons mêmes pour lesquelles il a été introduit.
|
||
|
||
C’est dans cette tension entre continuité des dispositifs et obligation de se ré-ouvrir à la scène que se joue, peut-être, la part la plus décisive de toute politique archicratique de l’IA : ne jamais laisser se refermer, dans le confort apparent de la régulation automatisée, la possibilité pour une société de redire ce qu’elle accepte – ou refuse – de déléguer à ses machines.
|