human in the loop

En profondeur

Le placement des points d’arrêt suit la réversibilité, jamais la difficulté. Une tâche compliquée mais annulable peut se laisser faire seule, tandis qu’un geste trivial et définitif mérite une confirmation : envoyer un message à un client, supprimer des données, engager une dépense, publier. La bonne question n’est donc pas « le système en est-il capable » mais « que coûte la réparation si cette action précise est fausse ». Trois formes coexistent : donner son accord avant l’action, contrôler un échantillon après coup, ou n’être appelé que lorsque le système signale un doute. Les deux dernières coûtent bien moins cher et suffisent partout où l’erreur se rattrape.

Un point d’arrêt n’a de valeur que si la personne peut réellement trancher. Cela suppose de lui montrer l’action exacte et ses conséquences, et non un résumé rassurant produit par le système lui-même. Cela suppose aussi un rythme tenable, car au-delà d’un certain nombre de validations par jour l’attention s’effondre et l’accord devient réflexe. Enfin, refuser doit être aussi simple qu’accepter, et le refus doit être enregistré : c’est le signal le plus précieux dont dispose une équipe pour corriger son système.

Le premier piège est la validation de complaisance, quand des dizaines d’accords sans incident font retomber la vigilance et que le point d’arrêt ne protège plus que sur le papier. Le deuxième est l’asymétrie de responsabilité : le système prépare tout, une personne endosse seule l’erreur d’un enchaînement qu’elle n’a pas vu se dérouler, ce qui est intenable dès que la cadence monte. Le troisième est le retrait progressif des validations, décidé au nom de la fluidité, sans qu’aucune décision ne soit tracée ni aucun risque révisé. Un humain dans la boucle se conçoit donc comme un dispositif à entretenir : mesurer le taux de refus, faire tourner les personnes, et rouvrir périodiquement la question du curseur.