{"id":"transformers-attention","category":"tech","level":"B2","emoji":"🧠","topic":"Les grands modèles de langage","title":"Dans la tête d'un modèle de langage","titleEn":"Inside the head of a language model","blurb":"Billions of numbers, no grammar rules, one training game — hide the next word and guess it — and the 2017 idea called \"attention\" that made it scale.","minutes":2,"hosts":{"Marie":"marie","Thomas":"thomas"},"focus":"Conditionnel · pronoms relatifs (dont, lequel, sur lesquelles) · vocabulaire de l'IA","lines":[{"s":"Marie","t":"Thomas, tout le monde utilise ChatGPT, mais peu de gens savent comment c'est construit. On essaie ?","en":"Thomas, everyone uses ChatGPT, but few people know how it is built. Shall we try?"},{"s":"Thomas","t":"Allons-y. Au départ, il y a un réseau de neurones, c'est-à-dire des milliards de nombres qu'on appelle des paramètres.","en":"Let us go. At the start, there is a neural network, that is, billions of numbers called parameters."},{"s":"Marie","t":"Des nombres ? Il n'y a pas de règles de grammaire écrites quelque part ?","en":"Numbers? Are there no grammar rules written down somewhere?"},{"s":"Thomas","t":"Aucune. Personne n'a programmé le sens des mots : le réseau le découvre dans les données sur lesquelles on l'entraîne.","en":"None. Nobody programmed the meaning of words: the network discovers it in the data on which it is trained."},{"s":"Marie","t":"Et cet entraînement, en quoi consiste-t-il exactement ?","en":"And this training, what exactly does it consist of?"},{"s":"Thomas","t":"On lui montre un texte, on cache le mot suivant, et il doit le prédire. S'il se trompe, on ajuste ses paramètres. Et cela des milliards de fois, sur plus de textes qu'un humain ne pourrait en lire en mille vies.","en":"You show it a text, hide the next word, and it has to predict it. If it is wrong, its parameters are adjusted. And that billions of times, on more text than a human could read in a thousand lifetimes."},{"s":"Marie","t":"Mais prédire le mot suivant, ça paraît trop simple pour des réponses aussi élaborées.","en":"But predicting the next word seems too simple for such elaborate answers."},{"s":"Thomas","t":"C'est tout le paradoxe. Pour bien deviner le mot suivant, il faut modéliser la grammaire, les faits, parfois même un raisonnement.","en":"That is the whole paradox. To guess the next word well, you have to model grammar, facts, sometimes even reasoning."},{"s":"Marie","t":"Et le mot « transformer », d'où vient-il ?","en":"And the word \"transformer\", where does it come from?"},{"s":"Thomas","t":"D'un article publié par des chercheurs de Google en deux mille dix-sept, dont le titre est devenu célèbre : « Attention is all you need ». L'idée clé, c'est l'attention.","en":"From a paper published by Google researchers in 2017, whose title became famous: \"Attention is all you need\". The key idea is attention."},{"s":"Marie","t":"C'est-à-dire ? Tu aurais un exemple ?","en":"Meaning? Would you have an example?"},{"s":"Thomas","t":"Dans une phrase, chaque mot regarde les autres et évalue lesquels comptent pour lui. « Le trophée ne rentre pas dans la valise parce qu'il est trop grand » : « il » doit être relié au trophée, pas à la valise.","en":"In a sentence, each word looks at the others and assesses which ones matter to it. \"The trophy does not fit in the suitcase because it is too big\": \"it\" must be linked to the trophy, not the suitcase."},{"s":"Marie","t":"Et avant les transformers, comment faisait-on ?","en":"And before transformers, how was it done?"},{"s":"Thomas","t":"Les modèles lisaient les mots un par un et oubliaient le début des longues phrases. Le transformer, lui, traite tout le texte en parallèle.","en":"Models read words one by one and forgot the beginning of long sentences. The transformer processes the whole text in parallel."},{"s":"Marie","t":"C'est pour ça qu'on l'entraîne sur des milliers de puces à la fois ?","en":"Is that why it is trained on thousands of chips at once?"},{"s":"Thomas","t":"Exactement. Sans ce parallélisme, les grands modèles de langage n'existeraient probablement pas.","en":"Exactly. Without this parallelism, large language models would probably not exist."},{"s":"Marie","t":"Donc, si je résume, l'assistant auquel je parle serait avant tout une machine à prédire, extraordinairement bien entraînée.","en":"So, to sum up, the assistant I talk to would be above all a prediction machine, extraordinarily well trained."},{"s":"Thomas","t":"C'est la description la plus honnête, même si elle ne dit pas tout.","en":"That is the most honest description, even if it does not tell the whole story."}],"vocab":[{"fr":"un réseau de neurones","en":"a neural network"},{"fr":"un paramètre","en":"a parameter"},{"fr":"l'entraînement","en":"training"},{"fr":"prédire","en":"to predict","note":"Conjugates like dire, except vous prédisez."},{"fr":"ajuster","en":"to adjust"},{"fr":"relier","en":"to link, to connect"},{"fr":"traiter","en":"to process, to handle"},{"fr":"une puce","en":"a (computer) chip","note":"Also \"a flea\"."}],"quiz":[{"type":"boolean","prompt":"Des programmeurs ont écrit les règles de grammaire dans le modèle.","answer":false,"explain":"Personne n'a programmé le sens des mots : le réseau le découvre à partir des données."},{"type":"choice","prompt":"En quoi consiste l'entraînement ?","options":["traduire des textes","prédire le mot suivant caché","répondre à des questions d'examen"],"answer":"prédire le mot suivant caché"},{"type":"choice","prompt":"Qui a publié l'article « Attention is all you need » ?","options":["des chercheurs de Google","des chercheurs d'IBM","des chercheurs de Nintendo"],"answer":"des chercheurs de Google"},{"type":"short","prompt":"Dans l'exemple, à quel mot le pronom « il » renvoie-t-il ?","answer":["au trophée","le trophée","trophée"]},{"type":"boolean","prompt":"Le transformer lit les mots un par un, dans l'ordre.","answer":false,"explain":"Ce sont les anciens modèles qui lisaient dans l'ordre ; le transformer traite tout le texte en parallèle."},{"type":"choice","prompt":"Selon Thomas, que sont les paramètres d'un réseau de neurones ?","options":["des règles de grammaire écrites à la main","des milliards de nombres","les questions posées par l'utilisateur"],"answer":"des milliards de nombres"},{"type":"boolean","prompt":"Quand le modèle se trompe pendant l'entraînement, on ajuste ses paramètres.","answer":true,"explain":"Oui : on cache le mot suivant, il doit le prédire, et s'il se trompe, on ajuste ses paramètres."},{"type":"short","prompt":"Quelle est l'idée clé de l'article des chercheurs de Google ?","answer":["l'attention","attention","le mécanisme d'attention","la notion d'attention"]},{"type":"boolean","prompt":"Selon Thomas, prédire le mot suivant est si simple que cela n'exige aucune connaissance de la grammaire.","answer":false,"explain":"Au contraire : pour bien deviner le mot suivant, il faut modéliser la grammaire, les faits, parfois même un raisonnement."},{"type":"choice","prompt":"Pourquoi le traitement en parallèle a-t-il été si important ?","options":["il permet d'entraîner le modèle sur des milliers de puces à la fois","il réduit le nombre de paramètres","il rend les données d'entraînement inutiles"],"answer":"il permet d'entraîner le modèle sur des milliers de puces à la fois"}],"cloze":{"mode":"type","lines":["Plus de textes qu'un humain ne {pourrait} en lire en mille vies.","Sans ce parallélisme, les grands modèles de langage n'{existeraient} probablement pas.","Le réseau le découvre dans les données sur {lesquelles} on l'entraîne.","S'il se {trompe}, on {ajuste} ses paramètres.","D'un article publié par des chercheurs de Google, {dont} le titre est devenu célèbre.","C'est-à-dire ? Tu {aurais} un exemple ?","Chaque mot regarde les autres et évalue {lesquels} comptent pour lui.","Les modèles {lisaient} les mots un par un et {oubliaient} le début des longues phrases.","Le transformer, lui, {traite} tout le texte en parallèle.","L'assistant {auquel} je parle {serait} avant tout une machine à prédire."]},"worksheet":{"objectives":["Employer le conditionnel pour une hypothèse ou une affirmation prudente.","Utiliser les relatifs composés (sur lesquelles, auquel) et dont.","Expliquer un mécanisme technique étape par étape."],"grammar":"**Conditionnel** : l'irréel (*un humain ne **pourrait** pas lire tout ça*, *les modèles n'**existeraient** pas*), la politesse (*tu **aurais** un exemple ?*) et la prudence (*ce **serait** avant tout une machine à prédire*). **Relatifs** : *les données **sur lesquelles** on l'entraîne* (préposition + lequel, accordé au féminin pluriel), *l'assistant **auquel** je parle* (à + lequel), *un article **dont** le titre est devenu célèbre* (le titre **de** l'article).","discussion":["Le fait qu'une IA ne fasse que « prédire le mot suivant » change-t-il la confiance que vous lui accordez ?","Si vous pouviez voir les données sur lesquelles un modèle a été entraîné, que chercheriez-vous ?","Peut-on dire qu'un modèle comprend une phrase s'il sait relier « il » au bon mot ?"],"writing":"Expliquez à un ami qui n'y connaît rien comment un assistant comme ChatGPT apprend. Utilisez au moins trois conditionnels et deux pronoms relatifs composés. (200 mots)"}}