Blog
L'humain dans la boucle : pourquoi toute automatisation par l'IA a besoin d'un point de contrôle
· 4 min de lecture
Un agent IA lit les demandes entrantes, remplit le bon formulaire et rédige immédiatement un projet de réponse. Une demande de devis, une candidature, une demande de remboursement. Au début, le gain de temps est sensible. Six mois plus tard, on découvre que l'agent portait systématiquement la même appréciation sur un certain type de demande, et que personne ne s'en était aperçu, car plus personne n'y regardait vraiment de près. L'agent fonctionnait, mais pas comme prévu.
C'est tout le problème du « ça marche » : un système d'IA qui tourne sans accroc ne prouve pas qu'il prend la bonne décision. Sans point de contrôle, vous ne remarquez une erreur systématique qu'une fois le préjudice subi. Avec un point de contrôle, vous la remarquez dès le premier écart.
Valider n'est pas superviser
Beaucoup d'entreprises intègrent bien une étape humaine, mais cette étape se résume souvent à un bouton « valider », alors que l'humain ne voit jamais les données sous-jacentes. C'est ce qu'on appelle le biais d'automatisation : la tendance à accepter le résultat de l'IA parce que le système a généralement raison. L'AI Act européen cite explicitement ce risque comme quelque chose auquel les personnes chargées de superviser des systèmes d'IA doivent pouvoir résister. L'article 14 de ce règlement prévoit que les personnes qui supervisent un système d'IA doivent être en mesure de comprendre les capacités et les limites du système, d'en surveiller le fonctionnement pour détecter des anomalies, et d'ignorer ou d'annuler son résultat, ou encore d'arrêter le système lorsque c'est nécessaire. C'est un rôle fondamentalement différent de celui qui consiste à cliquer sur un bouton que l'IA vous présente, comme on peut le lire dans le texte officiel de l'article 14.
Cet article s'applique à titre obligatoire aux systèmes d'IA classés à haut risque. Pensez aux systèmes qui sélectionnent ou évaluent des candidats, qui prennent des décisions de promotion ou de licenciement, qui évaluent la solvabilité d'une personne ou qui fixent le prix d'une assurance vie ou santé. La description exacte figure à l'annexe III de l'AI Act. Si vous reconnaissez l'une de ces applications dans votre propre usage de l'IA, un point de contrôle n'est plus un conseil facultatif mais une exigence légale. Si vous utilisez l'IA pour autre chose, par exemple la communication client ou l'automatisation de processus internes, cette obligation ne s'applique pas automatiquement, mais le problème de fond est identique : un système qui commet des erreurs sans que personne ne s'en aperçoive.
Un point de contrôle, c'est plus qu'un bouton de validation
Un point de contrôle qui apporte réellement quelque chose fait trois choses qu'un bouton de validation ne fait pas.
Premièrement, il exige un résultat mesuré, pas une confirmation. Les outils d'IA confirment facilement que quelque chose fonctionne sans l'avoir réellement vérifié : un agent qui affirme qu'une demande a été « correctement traitée » en a jugé lui-même, avec les mêmes hypothèses que celles qui ont conduit à l'erreur s'il y en avait une. Demandez plutôt un résultat concret que vous pouvez recalculer vous-même : quel montant, quelle date, quel motif de refus, et vérifiez-le par sondage par rapport aux données sources.
Deuxièmement, il donne au contrôleur une véritable visibilité, et pas seulement la conclusion. Celui qui ne voit que « approuver ou refuser » ne peut pas juger mieux que l'agent lui-même. Celui qui voit les données sur lesquelles repose la décision peut repérer un écart que l'agent ne reconnaît pas comme tel.
Troisièmement, une action irréversible bénéficie toujours d'une étape de confirmation distincte, séparée du reste du processus. Rembourser une somme, supprimer un compte, délivrer définitivement un certificat : ce type d'action mérite un arrêt explicite, précisément parce qu'une fausse manipulation ou une mauvaise appréciation y est irrattrapable. Ce principe vaut autant pour les humains que pour les agents IA, mais avec un agent IA qui traite des centaines de cas en quelques secondes, l'ampleur d'une erreur est immédiatement plus grande.
Ceux qui mettent cela en place en pratique constatent aussi que l'évaluation du résultat doit être une étape à part, réalisée par une autre personne que celle qui a conçu le système. Un second regard repère souvent ce que le concepteur ne voit plus, justement parce qu'il sait désormais quelle était l'intention et cherche inconsciemment une confirmation plutôt qu'un écart.
Où placer le point de contrôle
Toutes les étapes d'un processus automatisé n'exigent pas le même degré de supervision. Un agent qui classe un e-mail comme « facture » ou « réclamation » a peu d'impact s'il se trompe : quelqu'un s'en apercevra à l'étape suivante. Un agent qui exécute ensuite de lui-même un remboursement ou refuse un candidat, en revanche, en a beaucoup. La question qui compte n'est pas « l'IA le fait-elle assez bien ? », mais « que se passe-t-il si cela tourne mal une fois, et qui s'en aperçoit alors ? ». Placez le point de contrôle là où la réponse à cette seconde question est « personne, jusqu'à ce qu'il soit trop tard ».
Qu'est-ce que cela signifie pour votre entreprise ?
Quatre étapes pour commencer.
Recensez d'abord les étapes de vos processus automatisés par l'IA qui sont irréversibles ou qui ont un effet en dehors de votre organisation, comme un refus, un paiement ou un certificat. C'est là qu'il faut un point de contrôle explicite ; le reste peut être plus léger.
Montrez toujours les données sources à la personne qui contrôle, et pas seulement la conclusion de l'IA. Un bouton « valider » sans information sous-jacente n'est pas un contrôle, c'est une signature apposée sous le jugement d'un autre.
Demandez systématiquement un résultat mesurable plutôt qu'une confirmation, et vérifiez-le par sondage. Vous détecterez ainsi un écart systématique à la dixième demande, et non à la millième.
Vérifiez si l'une de vos applications d'IA relève des catégories à haut risque de l'AI Act, comme le recrutement, l'évaluation du personnel ou l'évaluation de la solvabilité. Si c'est le cas, un point de contrôle conforme à l'article 14 est une obligation, pas un choix.
Vous voulez savoir où placer le point de contrôle dans vos propres processus, ou comment configurer des agents IA pour que l'humain et le système se renforcent mutuellement au lieu que l'un fasse aveuglément confiance à l'autre ? Contactez-nous, nous serons heureux d'y réfléchir avec vous à partir de ce que nous avons nous-mêmes construit.