Vérifier ce qu'il rend
- 01Un vert ne prouve rien tant qu'il n'a pas été prouvé lui-même7 min
Un contrôle qui n'a jamais été mis en défaut par un cas qu'il doit réellement trouver n'a rien prouvé, au sens strict où prouver exige qu'une commande précise ait tourné et que sa sortie ait été lue : un détecteur cassé rend zéro problème, et cela se lit exactement comme un succès.
- 02Testez le vérificateur avant de croire son verdict7 min
Un contrôle qui rend un chiffre plausible n'est pas la même chose qu'un contrôle qui rend un chiffre juste, et un contrôle défaillant échoue rarement de façon bruyante, il rend un résultat qui a l'air correct.
- 03Le remède contre l'invention peut inventer lui aussi7 min
Un dispositif de vérification est un livrable comme un autre, produit par le même type de mécanisme que ce qu'il contrôle : rejouer ce mécanisme une seconde fois ne le rend pas indépendant, seule une méthode réellement différente le prouve.
- 04Où vous regardez détermine ce que vous trouvez4 min
Une vérification pointée sur le dernier changement dit où l'on a regardé, jamais où sont réellement les défauts : sans avoir examiné le reste avec le même soin, aucune conclusion sur la dangerosité comparée du code récent et du code ancien ne tient.
- 05Une vérification très rigoureuse peut quand même ne rien voir4 min
Plus une méthode de contrôle est disciplinée, plus elle donne l'illusion d'avoir tout couvert, parce qu'elle ne peut juger que ce qui existe déjà, jamais ce qui manque entièrement.
- 06Prouvé, ou simplement pas encore réfuté5 min
Prouvé signifie qu'une commande précise a tourné et que sa sortie a été lue ; pas encore réfuté signifie seulement que rien n'a attrapé de problème jusqu'ici, une affirmation bien plus faible.
- 07Un contrôle de forme ne voit jamais une valeur fausse8 min
Un contrôle automatique mesure la forme, l'encodage, la présence d'un mot clé, jamais la vérité, et valider une capture d'écran ou une étape intermédiaire ne prouve jamais ce que la personne va réellement ouvrir.
- 08Rouvrir chaque source avant de la croire8 min
Un agent de recherche rapporte ce qu'un index montre, pas ce qu'une page en direct contient aujourd'hui, et présente un lien mort avec la même assurance qu'un lien vivant : toute source destinée à soutenir une conclusion se rouvre avant d'être citée.
- 09Compter toute la population, et nommer la mesure pour ce qu'elle capte7 min
Mesurer sur les quelques cas remarqués par hasard plutôt que sur toute la population rend une conclusion pleine d'assurance et pourtant fausse, et cette même conclusion reste fausse si le nom qu'on donne au résultat dit autre chose que ce que l'instrument a réellement capté.