Aller au contenu

ADR-001 — Cascade fiabilité (convergence → judge → HITL)
Statut Accepted
Date 07/05/2026 (S19 mid-week)
Décideurs Romain BAZIL, Nicolas Léonard
Origine Synchro S19 mid-week §2

Contexte

L'outil d'analyse Bricks est utilisé mais pas encore digne de confiance : analystes re-analysent, AM revérifient, équipe ouvre Manus en parallèle. Le doute persistant tue l'automatisation et fait fuir le feedback hors de l'outil.

La V1 actuelle de la fiche consolidée résout partiellement le problème pour les données extraites (data_extraction), mais il manque un principe transverse qui dicte comment fiabiliser n'importe quelle donnée critique sans systématiquement tomber sur l'humain.

Décision

Pour chaque donnée critique du pipeline, appliquer la cascade suivante :

1. N approches structurellement indépendantes lancées en parallèle
2. Convergence  →  on fait confiance, sans intervention humaine
3. Désaccord    →  LLM-as-a-judge avec contexte projet
4. Doute persistant  →  HITL ciblé sur le seul champ litigieux

L'humain n'intervient qu'en dernier recours, et uniquement sur le champ litigieux (pas sur tout le dossier).

Mapping HITL → acteur

Niveau de doute Acteur Cas type
Convergence sources fiables Personne (auto) 3 OCR + déclaratif tous à 140 m²
Conflit résolu par LLM-judge LLM Manus invente une donnée → judge l'exclut
Conflit non résoluble par LLM AM 3 sources contradictoires sur surface, contexte projet à examiner
Conflit demandant expertise métier Analyste Division parcellaire qui rend la surface déclarée incohérente
Décision finale Cédric Comité, pas dans la cascade

Rationale

  • Le doute tue l'automatisation : tant qu'il faut vérifier une seule info, le doute reste, et l'utilisateur revérifie tout.
  • Une seule approche parfaite n'existe pas : la fiabilité passe par la convergence d'approches structurellement différentes, pas par la perfection d'un agent unique.
  • Le clic AM "valider" sur des sources convergentes n'a aucune valeur ajoutée : c'est du temps mental gaspillé sur un signal nul.
  • Capture passive : chaque convergence de N sources est une ground truth gratuite pour le golden dataset.

Conséquences

Ce qui change

  1. Compteur de validation AM passe de "X/23 validés" à "X champs critiques manquants" (voir aussi changement wording).
  2. Auto-validation quand toutes les sources convergent.
  3. Squad freelances justifiée explicitement : chacun apporte une approche qui peut se tromper pour des raisons différentes des autres.
  4. Critère de sélection des freelances : « est-ce que cette approche peut se tromper pour une raison différente des autres ? »

Ce qu'il faut faire

  • Implémenter chosen_source = array (voir ADR-005)
  • Implémenter le LLM-as-a-judge pour les conflits (V2)
  • Mettre la cascade en évidence dans la doc in-app (voir ADR-006)

Ce qu'il faut éviter

  • N clones LLM = consensus corrélé, pas convergence indépendante (anti-pattern LIDAR #3)
  • Validation systématique AM = retour à l'état actuel où l'AM revérifie tout
  • HITL global = on doit cibler le champ litigieux, pas demander à l'AM de re-trancher tout le dossier

Alternatives écartées

  • Validation manuelle systématique sur 23 champs : travail répétitif sans signal utile. Cette approche maintient le doute et encourage la revérification parallèle.
  • Un seul agent "parfait" par tâche : antithèse du pari fiabilité. Si un agent est parfait, on le saurait.
  • Consensus à N LLMs sur la même pipeline : consensus corrélé, gain illusoire.

Synthèse des échanges

La validation humaine doit intervenir après la convergence et le juge, uniquement sur le champ encore litigieux. Une validation systématique recrée le travail manuel que le pipeline doit supprimer.

Voir aussi

Sources