Accueil / Ce qu'est un modèle de langue, sans jargon

Prédire le mot suivant, rien de plus

Un modèle de langue ne fait qu'une chose : prédire le fragment de texte le plus probable à la suite de ce qu'il a déjà lu, et une réponse inventée sort du même calcul qu'une réponse exacte, sans qu'aucun signal interne ne les distingue l'une de l'autre.

Claude ne sait pas la réponse à une question : il calcule quel fragment de texte a le plus de chances de suivre celui qu'il vient de lire. Cette phrase suffit à décrire le mécanisme entier. Il lit le texte reçu, estime une probabilité pour chaque fragment susceptible de venir ensuite, en retient un, puis reprend le même calcul avec ce fragment ajouté au texte. Rien d'autre ne se passe à l'intérieur.

Pourquoi une réponse fausse ressemble à une réponse vraie

Ce mécanisme explique un phénomène que le centre d'aide de Claude reconnaît comme une limite connue du produit : Claude peut produire des informations inventées et afficher des citations qui semblent faire autorité sans être ancrées dans un fait réel. La raison tient au calcul lui-même. Un fragment plausible et un fragment exact sont, pour ce calcul, deux candidats de même nature : rien dans le processus ne réserve un traitement particulier à l'information vérifiée. Un numéro de téléphone inventé et un numéro réel s'écrivent avec la même syntaxe, donc avec une probabilité comparable aux yeux du modèle.

Ce que cela change dans la façon de lire une réponse

Une réponse fluide et bien formulée n'est donc pas un signe de justesse : la fluidité vient du même calcul que l'erreur éventuelle. Un exemple rend ce point concret.

Question : quel est le numéro de téléphone du service client ?
Réponse : Vous pouvez les joindre au 01 42 00 00 00, du lundi au vendredi.

Rien dans la forme de cette réponse ne dit si ce numéro provient d'une source réelle ou d'un fragment plausible produit par le même calcul que le reste de la phrase. Vérifier ce type d'information par un canal indépendant permet de trancher ; la confiance qu'inspire la formulation ne suffit pas comme preuve.

Le mot suivant, pas le raisonnement

Cette description vaut aussi pour les réponses longues et les raisonnements détaillés : chaque étape est elle-même un fragment prédit à partir de ce qui précède, y compris à partir des étapes que le modèle vient d'écrire. Un raisonnement qui s'enchaîne bien n'est donc pas une garantie de justesse à chaque étape, c'est un enchaînement de fragments plausibles les uns par rapport aux autres. La leçon suivante sur le jeton et la fenêtre précise ce que le modèle voit réellement pour produire chacun de ces fragments.