Ce qu'est un modèle de langue, sans jargon
- 01Prédire le mot suivant, rien de plus6 min
Un modèle de langue ne fait qu'une chose : prédire le fragment de texte le plus probable à la suite de ce qu'il a déjà lu, et une réponse inventée sort du même calcul qu'une réponse exacte, sans qu'aucun signal interne ne les distingue l'une de l'autre.
- 02Le jeton et la fenêtre, ce que le modèle voit réellement7 min
Le modèle voit des jetons empilés dans une fenêtre au plafond fixe, pas des mots entiers pris un par un, et une conversation qui approche ce plafond change de contenu avant même d'atteindre son coût maximal, puisque Claude résume alors les échanges les plus anciens.
- 03Le mythe du réglage magique6 min
Deux réponses différentes à la même question ne signalent pas une panne : elles viennent d'un réglage interne, la température, qui ajuste la prise de risque dans le choix du mot suivant, et ce réglage ne corrige pas une demande mal posée, la demande elle-même le peut.
- 04Une famille de modèles, un choix de vitesse contre profondeur7 min
Les modèles d'une même famille partagent le même entraînement de base et ne diffèrent vraiment que par le compromis entre la vitesse de la réponse et la profondeur du raisonnement appliqué avant de répondre.
- 05Le sens sans dictionnaire, et pourquoi l'ordre compte6 min
Claude n'ouvre aucun dictionnaire, il associe chaque mot à des mots de sens proche et évalue chacun par rapport à tous les autres au moment de répondre, ce qui fait que la place d'une consigne dans le message change son poids réel dans la réponse.
- 06Comment Claude a appris à répondre, et jusqu'à quand7 min
Claude traverse trois étapes d'entraînement avant toute conversation, une lecture large du monde, un ajustement en assistant utile, puis une autocorrection fondée sur des principes écrits, et la connaissance qui en résulte s'arrête à une date qui varie selon le modèle utilisé.