Dans la tête d'un modèle de langage (B2)
Inside the head of a language model — Billions of numbers, no grammar rules, one training game — hide the next word and guess it — and the 2017 idea called "attention" that made it scale.
Marie : Thomas, tout le monde utilise ChatGPT, mais peu de gens savent comment c'est construit. On essaie ?
Thomas : Allons-y. Au départ, il y a un réseau de neurones, c'est-à-dire des milliards de nombres qu'on appelle des paramètres.
Marie : Des nombres ? Il n'y a pas de règles de grammaire écrites quelque part ?
Thomas : Aucune. Personne n'a programmé le sens des mots : le réseau le découvre dans les données sur lesquelles on l'entraîne.
Marie : Et cet entraînement, en quoi consiste-t-il exactement ?
Thomas : On lui montre un texte, on cache le mot suivant, et il doit le prédire. S'il se trompe, on ajuste ses paramètres. Et cela des milliards de fois, sur plus de textes qu'un humain ne pourrait en lire en mille vies.
Marie : Mais prédire le mot suivant, ça paraît trop simple pour des réponses aussi élaborées.
Thomas : C'est tout le paradoxe. Pour bien deviner le mot suivant, il faut modéliser la grammaire, les faits, parfois même un raisonnement.
Marie : Et le mot « transformer », d'où vient-il ?
Thomas : D'un article publié par des chercheurs de Google en deux mille dix-sept, dont le titre est devenu célèbre : « Attention is all you need ». L'idée clé, c'est l'attention.
Marie : C'est-à-dire ? Tu aurais un exemple ?
Thomas : Dans une phrase, chaque mot regarde les autres et évalue lesquels comptent pour lui. « Le trophée ne rentre pas dans la valise parce qu'il est trop grand » : « il » doit être relié au trophée, pas à la valise.
Marie : Et avant les transformers, comment faisait-on ?
Thomas : Les modèles lisaient les mots un par un et oubliaient le début des longues phrases. Le transformer, lui, traite tout le texte en parallèle.
Marie : C'est pour ça qu'on l'entraîne sur des milliers de puces à la fois ?
Thomas : Exactement. Sans ce parallélisme, les grands modèles de langage n'existeraient probablement pas.
Marie : Donc, si je résume, l'assistant auquel je parle serait avant tout une machine à prédire, extraordinairement bien entraînée.
Thomas : C'est la description la plus honnête, même si elle ne dit pas tout.