Aller au contenu

Métriques retenues — audit outil d’analyse

Snapshot initial du 6 août 2026. Les chiffres sont agrégés et reproductibles via les requêtes du project.

Socle de pilotage

Flux vers la signature

  • Définition : projets distincts ayant touché en_attente_signature dans la semaine ISO.
  • Source : project_status_history.
  • Baseline : souvent 1 à 9 par semaine depuis mai 2026 ; pics proches de 15 à 19 en mars.
  • Décision : suivre le volume aval sans confondre flux et stock.
  • Requête : queries/02_funnel.sql.

Taux de passation vers l’analyse

  • Définition : part des projets ayant touché analyse_prete puis en_attente_analyse.
  • Source : project_status_history + projects.created_at.
  • Baseline 2026 : environ 62 %.
  • Décision : mesurer la fluidité de la passation. Les écarts par personne restent dans l’analyse locale.
  • Requête : queries/02_funnel.sql.

Taux de retour arrière post-passation

  • Définition : part des projets passés en analyse puis revenus vers une étape de préparation.
  • Baseline : 11,4 % global, soit 39 projets sur 341.
  • Décision : mesurer les passations incomplètes.
  • Limite : l’historique d’affectation AM manque.

Part manuelle des champs consolidés

  • Définition : part des entrées metadata_sources dont la source vaut manual.
  • Baseline : 50,7 %.
  • Décision : baseline du pari « avoir confiance dans les données consolidées ».
  • Limite : état courant, sans historique des corrections.
  • Requête : queries/01_source_quality.sql.

Convergence automatique, juge et intervention humaine

  • Définition : agrégats n_auto, n_judge, n_human et n_hitl_created.
  • Baseline : 3 379 décisions automatiques, 1 353 par juge, 61 humaines sur 389 runs.
  • Décision : vérifier la santé du moteur avant de rouvrir le chantier des données consolidées.
  • Requête : queries/04_quality_convergence.sql.

Qualité d’extraction à périmètre égal

  • Définition : score moyen par workflow, accompagné du nombre de références golden couvertes.
  • Baseline : Haiku 0,371 (12) · Manus 0,304 (24) · RAG 0,250 (21) · déclaratif 0,187 (22).
  • Décision : comparer uniquement sur un périmètre commun.
  • Limite : couverture encore inégale.

Alignement scoring outil ↔ comité

  • Définition : accord brut entre le score et la décision comité.
  • Baseline : 58 % sur 224 dossiers ; 79 cas scorés rejected puis approuvés.
  • Décision : échantillonner les divergences avant d’ajouter des règles.
  • Requête : queries/05_decisions.sql.

Pertinence des règles

  • Définition : part des feedbacks non nuls avec is_relevant = true.
  • Baseline : 31 %, soit 35 sur 113.
  • Décision : nettoyer les règles avant d’automatiser davantage.

Métriques non prêtes

  • Délai inscription → premier appel : données CRM/Aircall absentes.
  • Intervention sur les documents manquants : cycle de vie trop bruité.
  • Adéquation position analyste ↔ comité : seulement 17 positions structurées.
  • Coût par dossier : données partielles et définition encore incohérente.
  • Retard ou défaut par cohorte : seulement 70 dossiers reliés à Bricks.

Sources