Inicio / Verificar lo que devuelve

Contar toda la población, y nombrar la medida por lo que realmente capta

Medir sobre los pocos casos advertidos por azar en lugar de sobre toda la población produce una conclusión llena de seguridad y sin embargo falsa, y esa misma conclusión sigue siendo falsa si el nombre que se le da al resultado dice algo distinto de lo que el instrumento realmente captó.

Dos reflejos distintos protegen contra el mismo error, concluir antes de haber visto el conjunto de los hechos: contar toda la población antes de recomendar un cambio, y escribir lo que una medida capta realmente antes de nombrarla. Saltarse uno u otro produce una conclusión llena de seguridad que puede ser completamente falsa aunque parezca rigurosa.

Contar antes de recomendar

Detectar unos pocos casos que incumplen una convención y sacar de ahí una recomendación general, abandonar la convención entera, es un razonamiento seductor y casi siempre prematuro. Medir toda la población suele contar otra historia: una amplia mayoría de los elementos ya seguía la convención, de forma coherente y deliberada: los cuatro casos detectados al principio solo representaban una fracción de los once elementos realmente no conformes sobre el conjunto de la población, un defecto más puntual, sin relación con la convención en sí misma. Una convención respetada masivamente es una decisión que alguien tomó a propósito, no un accidente que espera ser corregido. Y el hecho de que un equipo acepte avanzar sobre ese diagnóstico solo valida la autorización para actuar, nunca la exactitud del diagnóstico en sí: se puede consentir de buena fe corregir un mal recuento.

La figura que sigue a este párrafo ilustra la misma disciplina sobre un segundo ejemplo, una carpeta de nueve archivos fabricada para la demostración, donde un vistazo al primer archivo que se encuentre no dice nada del recuento real:

$ mkdir -p /tmp/demo-v2m3l9
$ for i in 1 2 3 4 5 6 7; do echo '{"sources":["x"]}' > /tmp/demo-v2m3l9/lecon$i.json; done
$ for i in 8 9; do echo '{"sources":[]}' > /tmp/demo-v2m3l9/lecon$i.json; done
$ node -e "const fs=require('fs');const d='/tmp/demo-v2m3l9';const f=fs.readdirSync(d).filter(x=>x.endsWith('.json'));let a=0;f.forEach(x=>{const j=JSON.parse(fs.readFileSync(d+'/'+x));if(j.sources&&j.sources.length)a++});console.log(a+' sur '+f.length+' avec une source declaree');"
7 sur 9 avec une source declaree

Dos archivos de los nueve tienen un campo source vacío, y nada en su nombre ni en su posición lo dejaba adivinar: había que abrirlos uno por uno para saberlo, exactamente como con los cuarenta y tres elementos del primer ejemplo.

Nombrar una medida por lo que capta

Un gráfico titulado jornada de trabajo puede, en realidad, medir otra cosa: la diferencia entre el primer y el último mensaje enviado en el día, excluyendo silenciosamente cada hora pasada lejos del teclado entre los dos. La cifra no es falsa, está mal nombrada, lo cual es peor. Una cifra falsa termina siendo advertida y corregida. Una etiqueta falsa se propaga sin ruido y contamina cada conclusión que se apoya en ella, sin que un lector externo tenga la menor manera de verlo con solo mirar el título. La misma trampa afecta a cualquier señal indirecta presentada como si midiera directamente otra cosa: una frecuencia de mayúsculas más elevada en una serie de mensajes fue, por ejemplo, bautizada señal de frustración creciente, cuando el instrumento solo capta, literalmente, una frecuencia de mayúsculas. La figura que sigue a este párrafo retoma este ejemplo y pone frente a frente la etiqueta supuesta y lo que el instrumento capta realmente. Donde miras determina lo que encuentras se apoya en la misma falta de denominador que el hábito de contar antes de concluir.

Antes de titular cualquier gráfico, cualquier tarjeta de panel, cualquier columna, escribe en una frase simple lo que el instrumento capta literalmente, y luego verifica que el título diga exactamente eso, nada más.