Gouvernance de l'IA · Conformité
L'article 14 du règlement européen sur l'intelligence artificielle exige que les systèmes à haut risque permettent une surveillance humaine effective. La plupart des organisations savent décrire leur procédure de surveillance. Très peu peuvent montrer la preuve que cette surveillance a eu lieu. Cette page explique la différence et la façon de la mesurer.
Page de référence tenue par Humanning Lab · Beatriz López López
Le règlement (UE) 2024/1689, dit AI Act, est entré en vigueur le 1er août 2024 et ses obligations s'appliquent par étapes. Celles qui concernent les systèmes classés à haut risque se déploient entre 2026 et 2027, selon la catégorie du système.
L'article 14 prévoit que les systèmes d'IA à haut risque soient conçus et développés de manière à pouvoir être supervisés efficacement par des personnes physiques pendant leur période d'utilisation. Il ne suffit pas qu'une personne soit nommément responsable : la norme demande que cette personne puisse comprendre les capacités et les limites du système, détecter les anomalies, interpréter correctement le résultat, décider de ne pas l'utiliser et, le cas échéant, interrompre son fonctionnement.
Le texte nomme aussi explicitement le biais d'automatisation : la tendance à se fier automatiquement à la sortie d'un système, surtout lorsque ce système produit des recommandations à l'apparence précise. La norme demande que l'organisation en soit consciente et agisse sur ce point.
C'est là qu'apparaît le problème pratique. Le biais d'automatisation n'est pas une procédure : c'est une conduite. Et une conduite ne s'atteste pas par un document de politique interne, elle s'atteste en l'observant.
Lorsqu'une entité décrit sa gouvernance de l'IA, elle présente en général trois éléments : un organigramme avec des rôles attribués, une procédure écrite de revue et une formation enregistrée. Les trois sont nécessaires. Aucun des trois ne démontre que la surveillance a eu lieu.
La surveillance déclarée répond à la question : que devrait-il se passer lorsque le système émet une recommandation ? La surveillance mesurée répond à une autre : que s'est-il réellement passé lorsque le système a émis la recommandation ?
L'écart entre les deux est l'endroit où le risque s'accumule. Une personne qui approuve 99 % des recommandations du modèle en quarante secondes respecte la procédure et, en même temps, ne supervise pas. Le dossier sera complet. La surveillance effective, non.
Cette distinction traverse tout le travail de Humanning Lab dans les autres domaines : nous mesurons ce qui se vit, non ce qui se déclare.
La surveillance humaine est observable parce qu'elle laisse une trace comportementale. Elle se mesure sur les décisions qui ont déjà lieu dans l'exploitation, sans modifier le modèle ni interférer avec le flux de travail.
Ce que l'on observe, ce sont des régularités : dans quelle proportion des cas la personne s'écarte de la recommandation du système et dans quelles conditions ; combien ce comportement varie entre équipes, horaires et niveaux de charge ; quels types de dossiers concentrent l'acceptation automatique ; ce qui distingue les décisions où la personne est réellement intervenue ; et si cette intervention se maintient dans le temps ou décline après la mise en production.
Le résultat n'est ni un score de maturité ni une auto-évaluation. C'est un ensemble d'indicateurs comportementaux, datés et traçables, qui décrivent comment la surveillance s'exerce dans cette organisation précise, avec ce système précis.
C'est cet ensemble qu'une entité peut présenter à un superviseur ou à un auditeur lorsqu'on lui demande de démontrer, et non d'affirmer, que la surveillance humaine est effective.
L'instrument ne vient pas du conseil en conformité, mais de la biologie de la cognition développée par Humberto Maturana et Francisco Varela.
Ce cadre apporte une prémisse opérationnelle : la conduite d'une personne ne s'explique pas par l'instruction qu'elle reçoit, mais par la structure depuis laquelle elle la reçoit. Une norme ne détermine pas un comportement ; elle le déclenche, et ce qui suit dépend de la structure de celui qui la reçoit et du contexte dans lequel il opère.
Appliqué à la gouvernance de l'IA, cela explique pourquoi des politiques de surveillance bien rédigées produisent des résultats si différents d'une organisation à l'autre, et pourquoi la seule façon sérieuse de savoir ce qui se passe est d'observer la conduite dans son contexte d'exploitation.
Le règlement classe à haut risque, entre autres, les systèmes qui interviennent dans des décisions ayant un impact direct sur les droits et les opportunités des personnes. Voici les quatre contextes où l'instrument s'applique le plus clairement.
Évaluation de solvabilité et scoring de crédit
L'analyste reçoit une recommandation du modèle et décide. La question qu'un superviseur peut poser est : combien de ces décisions ont été effectivement revues, et qu'est-ce qui distingue celles qui se sont écartées du modèle ? Sans mesure comportementale, la réponse reste une estimation.
Tarification et évaluation du risque en vie et santé
Le même schéma, avec une difficulté supplémentaire : les modèles actuariels sont intégrés à la pratique professionnelle depuis des décennies, si bien que la confiance dans leur sortie est plus naturalisée et le biais d'automatisation plus difficile à détecter de l'intérieur.
Aide à la décision clinique et priorisation des soins
La surveillance humaine y est particulièrement sensible car le professionnel travaille sous pression temporelle. Mesurer dans quelles conditions la revue se maintient et dans lesquelles elle se dégrade relève de la sécurité, pas seulement de la conformité.
Présélection de candidatures et évaluation dans les processus d'embauche
C'est l'un des usages explicitement listés comme à haut risque. Le volume de candidatures pousse à l'acceptation automatique du filtre, précisément là où l'impact sur les personnes est direct et où la traçabilité de la décision humaine est exigible.
Il s'agit d'un cadre de référence général, non d'un conseil juridique. La classification d'un système donné dépend de sa finalité et de sa place dans les annexes du règlement, et doit être déterminée par l'entité avec son conseil juridique.
Paper de référence de l'instrument. Autrice : Beatriz López López.
Source normative primaire, dans toutes les langues officielles de l'Union européenne.
Instrument pour mesurer la surveillance humaine.
Si votre entité exploite des systèmes d'IA dans l'un de ces contextes et doit démontrer une surveillance humaine effective, la première étape est une conversation sur le cas d'usage concret. Je ne vends pas un avis de conformité : je mesure la conduite de décision et je livre les indicateurs qui la décrivent.
Écrire pour proposer un pilote