Il ne cherche pas la bonne réponse : il prédit le mot suivant le plus probable. Presque tout ce qui surprend dans son comportement découle de cette seule phrase.
En un mot. Ce que fait réellement un outil comme celui qui écrit des textes : il devine, mot après mot, la suite la plus probable.
Un modèle de langage est un système statistique entraîné sur de très grands volumes de texte à prédire l’élément suivant d’une séquence. Il ne consulte pas de base de connaissances au moment de répondre : il produit une suite plausible à partir des régularités apprises.
Comprendre ce mécanisme dispense d’apprendre cent règles d’usage. Pourquoi le modèle invente une source qui n’existe pas, pourquoi il change d’avis si on insiste, pourquoi il écrit mieux quand on lui donne un exemple, pourquoi il oublie le début d’une longue conversation : tout cela se déduit du même fonctionnement, et rien de tout cela n’est un dysfonctionnement.
Le texte est d’abord découpé en jetons — des fragments de mots plutôt que des mots entiers. À chaque étape, le modèle calcule une probabilité pour chaque jeton possible et en choisit un, puis recommence en tenant compte de ce qu’il vient d’écrire. Il ne dispose que de ce qui tient dans sa fenêtre de contexte : au-delà, le début disparaît. Et comme le choix comporte une part d’aléa, la même question peut donner deux réponses différentes. Une source inventée n’est donc pas un mensonge : c’est une suite de jetons statistiquement vraisemblable, et une référence bibliographique plausible ressemble beaucoup à une référence réelle.
Le test le plus instructif consiste à demander deux fois la même chose dans deux conversations séparées. Sur un fait établi, les deux réponses concordent. Sur un fait que le modèle ne détient pas, elles divergent — et c’est la divergence, pas l’assurance du ton, qui signale qu’il faut aller vérifier.
Cette carte comporte 1 question de contrôle, dans la version interactive.