Inicio / Casos reales de principio a fin

Construir un activo de datos, conjunto sintético o base de conocimiento

Un conjunto de datos sintético y una base de conocimiento comparten la misma arquitectura de cuatro operaciones, un esquema común, un identificador de correspondencia, una deduplicación y una validación antes de cualquier uso posterior.

Generar mil ejemplos de entrenamiento sintéticos y constituir una base de conocimiento interna para un agente comparten la misma arquitectura bajo nombres distintos. Ambos pasan por cuatro operaciones comunes: ingesta o generación por lotes, deduplicación, vinculación mediante un esquema compartido, y luego recuperación a través de un índice ligero.

Un esquema antes del primer registro

El esquema fija los campos que lleva cada registro antes de que se cree el primero, tanto si viene de una generación por lotes como de una ingesta de documentos ya existentes. Cada registro lleva también un identificador de correspondencia, estable de una pasada a otra, que permite vincular una entrada nueva con una entrada ya conocida sin depender del contenido del texto en sí.

Deduplicar antes de validar, nunca después

La deduplicación se ejecuta sobre el identificador de correspondencia y sobre una huella del contenido, antes de que nadie relea el lote. Un duplicado no retirado en esta etapa se propaga por toda validación posterior y falsea el recuento final. El ejemplo de abajo fabrica cinco registros ficticios, entre ellos dos duplicados voluntarios, para mostrar la mecánica sin tocar ningún archivo real.

# Datos fabricados aquí mismo, no se toca ningún archivo real
enregistrements = [
    {"id": "corr-001", "texte": "lijadora de banda"},
    {"id": "corr-002", "texte": "aspirador de taller"},
    {"id": "corr-001", "texte": "lijadora de banda"},
    {"id": "corr-003", "texte": "amoladora angular"},
    {"id": "corr-002", "texte": "aspirador de taller"},
]

vus = set()
uniques = []
for enregistrement in enregistrements:
    if enregistrement["id"] not in vus:
        vus.add(enregistrement["id"])
        uniques.append(enregistrement)

print(len(enregistrements), "registros,", len(uniques), "únicos tras deduplicación")

Cinco entradas fabricadas, tres retenidas tras la deduplicación sobre el identificador: la misma lógica se aplica a quinientas o a cincuenta mil líneas.

Un procesamiento por lotes que cambia el coste, no el método

Cuando la generación o la validación se hace mediante llamadas repetidas a un modelo, agrupar esas llamadas en un procesamiento por lotes en lugar de enviarlas una a una cambia el coste sin cambiar el método. La figura métrica de esta lección cifra esa diferencia. Esta misma disciplina de esquema compartido y de recuperación mediante índice ligero sirve después de base a la búsqueda en abanico, que verifica cada afirmación antes de retenerla.