Inicio / Verificar lo que devuelve

El remedio contra la invención también puede inventar

Un dispositivo de verificación es un entregable como cualquier otro, producido por el mismo tipo de mecanismo que lo que controla: repetir ese mecanismo una segunda vez no lo hace independiente, solo un método realmente distinto lo demuestra.

Un dispositivo de verificación, script o agente, es un entregable como cualquier otro: está producido por el mismo tipo de mecanismo que lo que controla, y nada lo exime del riesgo que se supone debe cubrir. Un control que da un veredicto tranquilizador no ha probado nada más que un control que da un veredicto preocupante, mientras su propio método no haya sido puesto a prueba de una manera realmente distinta.

Repetir no es verificar

Volver a lanzar un control una segunda vez da la impresión de una confirmación. No es el caso en cuanto el bug es determinista: el mismo código, sobre la misma entrada, produce dos veces el mismo error, y la coincidencia entre los dos pases solo prueba la estabilidad del bug, no su ausencia. Un script escrito para contar las ocurrencias del nombre de campo ADMIN_PASSWORD en un archivo de configuración, mediante una búsqueda de subcadena sensible a mayúsculas y minúsculas, da una sola ocurrencia en la primera ejecución, y de nuevo una sola en la segunda.

node compteA.js fixture.txt
occurrences trouvees : 1

node compteA.js fixture.txt
occurrences trouvees : 1

El archivo controlado contiene sin embargo dos líneas que asignan esa contraseña, una escrita en mayúsculas, la otra en minúsculas. La repetición tranquiliza sin aportar nada: es un método distinto, no una segunda ejecución del mismo método, lo que cambia el resultado. Un segundo script, construido de otra manera, divide cada línea por el signo igual y compara en minúsculas el nombre de campo obtenido, en lugar de buscar una subcadena exacta.

node compteB.js fixture.txt
occurrences trouvees : 2

Dos instancias del mismo mecanismo no son independientes

Esta confusión se reencuentra a mayor escala con un agente encargado de revisar a otro agente. Dos modelos, incluso bajo nombres distintos, comparten a menudo los mismos puntos ciegos de entrenamiento: su coincidencia no es la prueba de una verdad, es la prueba de un parecido de método. La independencia que cuenta no es la de la instancia, un segundo lanzamiento, una segunda IA del mismo tipo. Es la del método: un algoritmo de recuento distinto, una lectura manual de una muestra, una fuente que no ha sido producida por el dispositivo que se busca controlar.

La regla práctica se reduce a una pregunta, planteada antes de confiar en cualquier veredicto de control: ¿este segundo resultado viene de un método que podría fallar de una manera distinta, o solo del mismo método repetido? En el primer caso, la coincidencia cuenta. En el segundo, no prueba nada más que la primera ejecución.

Este principio prolonga prueba el verificador antes de creer su veredicto: una autoprueba con un caso conocido basta para detectar un control roto, pero solo un método realmente distinto permite luego confiar en un control que ya parece funcionar. También se une a un verde no prueba nada hasta que no ha sido probado el mismo: un testigo positivo prueba que un control sabe detectar, una segunda ejecución del mismo control nunca lo prueba dos veces.