EXPÉRIENCE 01 · ÉCRIRE AVEC L’IA
Comment une IA écrit-elle une phrase ?
Complétez une phrase, changez la place du hasard et construisez sa suite un morceau à la fois.
4 étapes · environ 8 min · sans prérequisLisez quelques lignes, faites l’essai à côté, puis regardez ce qui change. Vous pouvez avancer à votre rythme et refaire chaque manipulation.
Quel mot mettriez-vous à la suite ?
« Ce matin, je bois un… » Vous pensez peut-être à un café. Vous avez utilisé le début de la phrase pour proposer une suite qui tient debout.
Un modèle de langage fait lui aussi un choix à partir du texte reçu. Son entraînement lui a appris des régularités dans les textes. Il calcule ensuite plusieurs suites possibles, chacune avec un poids.
40 % à côté d’un mot veut dire : dans cet exemple et avec ces réglages, ce mot aurait environ 40 chances sur 100 d’être choisi. Ce n’est pas la probabilité que la phrase soit vraie.
Changez le début de la phrase. Regardez ce qui arrive à « café » et à « vélo ».
Ce matin, je bois un …
Dans ce contexte, « café » reçoit le plus de chances. « vélo » en reçoit très peu. La même liste de mots ne convient pas à toutes les phrases.
Pourquoi la même question donne-t-elle des réponses différentes ?
On pourrait toujours prendre le premier mot de la liste. Mais beaucoup de systèmes font un tirage au sort pondéré : les mots les mieux placés ont plus de chances de sortir.
Imaginez un sac qui contient 50 papiers « café » et 30 papiers « thé ». Tirer un papier favorise le café, sans obliger à le choisir à chaque fois.
Le réglage de variation change la répartition des papiers. Il ne rend pas le modèle plus savant. Il permet à des suites moins attendues d’être choisies plus souvent.
Faites 20 essais avec peu de variation, puis recommencez avec davantage de variation.
À 0.70, « café » a 57 % de chances. Les barres changent avant même le tirage : vous modifiez la place laissée aux autres choix.
Le nom de ce réglage : la température
La température divise les scores du modèle avant leur conversion en probabilités. Plus elle est basse, plus les écarts sont accentués.
pᵢ = exp(scoreᵢ / T) / Σ exp(scoreⱼ / T)La fonction qui transforme les scores en probabilités s’appelle softmax. Un autre réglage, top-p, conserve les candidats les mieux classés jusqu’à atteindre une part cumulée des probabilités.
Et après le premier mot ?
Le morceau choisi est ajouté au texte. Le modèle recommence alors avec cette phrase plus longue, jusqu’à atteindre une fin ou une limite de longueur.
Dans un assistant, des instructions et parfois des documents font aussi partie de ce contexte. C’est pourquoi la formulation de votre demande et les informations que vous donnez peuvent changer la réponse.
Essayons cette boucle sur une phrase courte. Vous verrez exactement quel morceau est ajouté à chaque clic.
Appuyez trois fois. Chaque nouveau morceau s’ajoute à la phrase.
Ce matin, je bois un …
La phrase n’a pas encore sa suite. Commençons par choisir la boisson.
Un « token », est-ce toujours un mot ?
Non. Un token est un morceau de texte du vocabulaire d’un modèle : parfois un mot, parfois une partie de mot ou un signe. Pour lire facilement cet exemple, nos morceaux sont des mots entiers.
Dans cette maquette, les trois listes sont préparées à l’avance. Un vrai modèle recalcule ses scores à chaque ajout, à partir de tout le contexte disponible.
Le ton change. L’information change-t-elle ?
On vient d’observer un mécanisme qui propose du texte. Rien, dans le tirage lui-même, ne vérifie un fait, une date ou un nom.
Les modèles modernes peuvent accomplir des tâches complexes. Leur capacité à produire une réponse convaincante doit tout de même être distinguée des moyens utilisés pour la vérifier.
Pour une information importante, demandez d’où elle vient et contrôlez la source.
Modifiez le ton de cette phrase, puis ouvrez sa référence.
Petit exemple fictif : la date proposée et la référence ci-dessous sont préparées pour observer leur différence.
L’atelier des Lilas a ouvert en 2019.Une même affirmation, trois formulations
Le style change, mais la date reste 2019. Ouvrez la référence pour examiner l’information elle-même.
VOTRE CARNET D’EXPÉRIENCE
Garder une trace.
Ce carnet reprend les réglages et les résultats de votre exploration. Revenez sur une manipulation, changez un paramètre et observez la différence.
Le texte reçu oriente les choix. Le tirage peut varier. Une réponse bien formulée demande encore une vérification lorsqu’elle affirme un fait.
VOS OBSERVATIONS
01Contexte affiché : « Ce matin, je bois un ». Le premier candidat est « café ».
02Faites 20 tirages pour voir que probabilité et fréquence observée ne coïncident pas toujours.
03La phrase se construit un morceau à la fois.
04Vous pouvez ouvrir la référence pour comparer le ton et le fait.
Les références pour continuer
- Holtzman et al. — The Curious Case of Neural Text Degeneration ↗ (nouvel onglet)Article de recherche sur l’échantillonnage et le top-p, en anglais.
Votre carnet reste disponible tant que vous gardez cette expérience ouverte.