Aller au contenu

ADR-028 — Golden dataset comme pilier d’évaluation

Contexte

Les refactorings et nouvelles sources modifient régulièrement la qualité d’extraction. Sans jeu de référence, les comparaisons reposent sur des impressions et ne permettent pas de savoir si une itération améliore réellement le système.

Décision

Le golden dataset devient le pilier durable de l’évaluation. Une campagne compare chaque source ou workflow sur le même ensemble de projets et de champs.

Un rôle distinct de data annotateur enrichit la vérité terrain avec : valeur attendue, source, emplacement dans le document et justification. Ce rôle est découplé des rôles métier et peut être porté en interne ou par des annotateurs externes.

Rationale

  • Les campagnes doivent comparer un périmètre identique.
  • La provenance et l’emplacement permettent d’évaluer autre chose que la valeur finale.
  • La double vérification réduit le risque qu’une seule annotation devienne une vérité fragile.
  • Le rôle d’annotation doit rester transférable et non attaché à une personne.

Conséquences

  • Toute évolution structurante du pipeline est comparée à la campagne précédente.
  • Le dataset dispose d’un protocole d’enrichissement et de contrôle qualité.
  • Les résultats sont publiés au niveau des approches, jamais comme performance individuelle.
  • Les owners opérationnels et objectifs de campagne vivent dans Linear.

Sources