Accueil / Vérifier ce qu'il rend

Trois agents d'accord, une seule source

Plusieurs agents qui rendent la même conclusion en citant la même page ne confirment rien à eux trois : un accord se compte en sources indépendantes, et une adresse différente n'est pas encore une source différente.

Prenons un cas type. Trois agents interrogés séparément sur la même question rendent la même conclusion, et l'équipe qui les a lancés y voit trois vérifications qui convergent. Si les trois citent la même page comme fondement, l'équipe tient une seule source, citée trois fois : un accord entre avis vaut ce que valent les sources distinctes qui le portent.

Ce que compte un dédoublonnage de texte

Le premier geste consiste à relever l'adresse que chaque agent dit avoir consultée, puis à compter ce qui reste une fois les doublons retirés. Ce compte a une limite qu'il faut nommer : sort -u retire les lignes identiques caractère pour caractère, il compte donc des chaînes de texte. Deux écritures de la même page, avec et sans ancre après le signe #, y passent pour deux ; un miroir qui recopie la page sous un autre domaine aussi.

La démonstration suivante crée son propre dossier et ses fichiers, puis compte de trois façons :

mkdir -p demo-accord && cd demo-accord
printf 'conclusion: option A conforme\nsource: https://exemple-doc.test/limites\n' > avis-1.txt
printf 'conclusion: option A conforme\nsource: https://exemple-doc.test/limites#quota\n' > avis-2.txt
printf 'conclusion: option A conforme\nsource: https://miroir-doc.test/copie/limites\n' > avis-3.txt
echo "avis d'accord : $(grep -l 'option A conforme' avis-*.txt | wc -l | tr -d ' ')"
echo "chaînes d'adresse distinctes : $(grep -h '^source:' avis-*.txt | sort -u | wc -l | tr -d ' ')"
echo "adresses sans ancre distinctes : $(grep -h '^source:' avis-*.txt | sed 's/#.*//' | sort -u | wc -l | tr -d ' ')"
printf 'Le quota se remet à zéro chaque minute.\n' > texte-extrait-exemple-doc.txt
printf 'Le quota se remet à zéro chaque minute.\n' > texte-extrait-miroir-doc.txt
cksum texte-extrait-exemple-doc.txt texte-extrait-miroir-doc.txt

avis d'accord : 3
chaînes d'adresse distinctes : 3
adresses sans ancre distinctes : 2
629965316 42 texte-extrait-exemple-doc.txt
629965316 42 texte-extrait-miroir-doc.txt

Trois avis, trois chaînes, deux pages une fois l'ancre retirée. Le tr -d ' ' retire les espaces que wc -l place devant son résultat sur macOS, pour que la sortie soit la même sur tous les systèmes. Les deux dernières lignes viennent de cksum, qui calcule une somme de contrôle, un nombre dérivé du contenu d'un fichier : deux fichiers identiques octet pour octet rendent la même.

Normaliser, puis remonter à l'origine

Normaliser d'abord : retirer l'ancre, les paramètres de suivi et la barre finale, pour que deux écritures d'une même page se confondent. L'ancre est le cas le plus net, puisque le navigateur ne l'envoie pas au serveur : deux adresses qui ne diffèrent que par elle désignent la même ressource.

Remonter ensuite à l'origine. Deux domaines peuvent porter le même texte, recopié ou syndiqué. Deux copies réelles d'une page web diffèrent pourtant par leur gabarit, leurs menus ou leurs publicités, si bien qu'une somme de contrôle calculée sur les pages brutes rend deux nombres différents. Elle ne sert que sur le texte extrait et nettoyé, comme dans les deux fichiers de la démonstration ; à défaut, on compare les passages cités, ou on lit la mention d'origine que porte la copie. Une somme identique signale une copie, et deux sommes différentes ne prouvent pas deux enquêtes indépendantes, puisqu'une page peut en reformuler une autre.

La leçon sur le compte de toute la population demande de nommer une mesure pour ce qu'elle capte : ici, le dédoublonnage capte des chaînes, la normalisation des pages, et la comparaison du texte extrait approche l'origine. La recherche en éventail, en voie 6, reprend le problème du côté de la collecte : une affirmation n'y est citée qu'après avoir résisté à une tentative réelle de la réfuter.