Accueil / Cas réels de bout en bout

Bâtir un actif de données, jeu synthétique ou base de connaissances

Un jeu de données synthétique et une base de connaissances partagent la même architecture à quatre opérations, un schéma commun, un identifiant de correspondance, une déduplication et une validation avant tout usage en aval.

Générer mille exemples d'entraînement synthétiques et constituer une base de connaissances interne pour un agent partagent la même architecture sous des noms différents. Les deux passent par quatre opérations communes : ingestion ou génération en lot, déduplication, liaison par un schéma partagé, puis rappel via un index léger.

Un schéma avant le premier enregistrement

Le schéma fixe les champs que porte chaque enregistrement avant que le premier ne soit créé, qu'il vienne d'une génération en lot ou d'une ingestion de documents existants. Chaque enregistrement porte aussi un identifiant de correspondance, stable d'une passe à l'autre, qui permet de relier une entrée nouvelle à une entrée déjà connue sans dépendre du contenu du texte lui même.

Dédupliquer avant de valider, jamais après

La déduplication s'exécute sur l'identifiant de correspondance et sur une empreinte du contenu, avant que quiconque ne relise le lot. Un doublon non retiré à ce stade se propage dans toute validation suivante et fausse le compte final. L'exemple ci dessous fabrique cinq enregistrements factices, dont deux doublons volontaires, pour montrer la mécanique sans toucher à un fichier réel.

# Données fabriquées ici même, aucun fichier réel n'est touché
enregistrements = [
    {"id": "corr-001", "texte": "ponceuse à bande"},
    {"id": "corr-002", "texte": "aspirateur d'atelier"},
    {"id": "corr-001", "texte": "ponceuse à bande"},
    {"id": "corr-003", "texte": "meuleuse d'angle"},
    {"id": "corr-002", "texte": "aspirateur d'atelier"},
]

vus = set()
uniques = []
for enregistrement in enregistrements:
    if enregistrement["id"] not in vus:
        vus.add(enregistrement["id"])
        uniques.append(enregistrement)

print(len(enregistrements), "enregistrements,", len(uniques), "uniques après déduplication")

Cinq entrées fabriquées, trois retenues après déduplication sur l'identifiant : la même logique s'applique à cinq cents ou cinquante mille lignes.

Un traitement par lot qui change le coût, pas la méthode

Quand la génération ou la validation se fait par appels répétés à un modèle, regrouper ces appels dans un traitement par lot plutôt que de les envoyer un par un change le coût sans changer la méthode. La figure métrique de cette leçon chiffre cet écart. Cette même discipline de schéma partagé et de rappel par index léger sert ensuite de socle à la recherche en éventail, qui vérifie chaque affirmation avant de la retenir.