Accueil / Ce qu'est un modèle de langue, sans jargon

Comment Claude a appris à répondre, et jusqu'à quand

Claude traverse trois étapes d'entraînement avant toute conversation, une lecture large du monde, un ajustement en assistant utile, puis une autocorrection fondée sur des principes écrits, et la connaissance qui en résulte s'arrête à une date qui varie selon le modèle utilisé.

Claude n'apprend rien pendant qu'il vous répond. Toute sa connaissance vient d'un entraînement terminé avant sa mise à disposition, et cet entraînement se déroule en plusieurs étapes bien distinctes, chacune ajoutant une couche différente à ce que le modèle sait faire.

Trois étapes avant toute conversation

La première étape consiste à lire une quantité considérable de textes variés pour acquérir une capacité de langage générale, avant même de savoir tenir une conversation utile. Une deuxième étape, dite post entraînement, transforme ce socle en assistant capable de répondre à une vraie demande plutôt que de simplement prolonger un texte. Une troisième étape apprend au modèle à critiquer et réviser ses propres réponses à partir d'un ensemble de principes écrits, un texte de référence qui fixe ce qui compte comme une réponse utile et prudente, puis un second passage renforce le choix des réponses les moins problématiques en s'appuyant sur ces mêmes principes plutôt que sur des jugements humains recueillis un par un. La figure ci dessous reprend ces trois étapes dans l'ordre où elles se produisent.

Une date de coupure qui varie selon le modèle

Une fois ces étapes terminées, la connaissance de Claude est figée, il ne sait rien de ce qui s'est produit après une certaine date, appelée date de coupure. Cette date n'est pas la même pour tous les modèles de la famille, la figure en donne un exemple précis pour l'un d'entre eux. Poser une question sur un événement récent sans fournir de contexte revient à demander à quelqu'un de commenter une actualité qu'il n'a jamais lue.

Fournir une source fraîche

Le correctif se pratique message par message, coller le texte d'un document récent directement dans la conversation avant de poser la question.

Voici l'article publié aujourd'hui par notre association, collé ci-dessous :
[texte de l'article]
Réponds uniquement à partir de ce texte, sans t'appuyer sur ce que tu savais avant.

Cette phrase d'ancrage ne répare pas la date de coupure, elle la contourne pour la seule question posée. Le principe vu dans la leçon précédente, la position d'une information change son poids, s'applique aussi à une source fraîche, elle gagne à se trouver près de la question plutôt que noyée au milieu d'un long message.