ContexteouMémoire
Le contexte est ce que le modèle a sous les yeux pendant qu’il répond, et il disparaît ensuite. La mémoire est ce qu’on a décidé de conserver entre deux échanges, puis de replacer dans le contexte quand c’est utile.
Point par point
| Critère | Contexte | Mémoire |
|---|---|---|
| Durée de vie | Le temps d’une réponse | D’une session à l’autre |
| Qui le construit | Le harnais, à chaque requête | Une décision de conception |
| La limite | La fenêtre de contexte, en tokens | Le stockage, et surtout le tri |
| Où va le coût | À chaque requête | Au stockage, puis à la relecture |
| Quand ça déborde | Le début est oublié | Rien n’est perdu, il faut choisir quoi relire |
| Ce qu’on règle | Ce qu’on met dedans, et dans quel ordre | Ce qui mérite d’être retenu |
Sur le terrain quatre situations
Vous collez un contrat de quarante pages, posez trois questions dessus, puis fermez l’onglet.
ContexteLe contrat occupait la fenêtre le temps de l’échange. Une fois l’onglet fermé, il n’en reste rien nulle part.
Trois semaines plus tard, l’assistant tient compte de votre préférence pour les réponses courtes.
MémoireQuelqu’un a décidé de stocker cette préférence et de la replacer dans le contexte au début de chaque échange.
Un service client retrouve votre numéro de commande passée il y a six mois.
MémoireLe contre-exemple utile : ce n’est pas le modèle qui se souvient. Le harnais a interrogé une base, puis a placé le résultat sous ses yeux.
Vous rouvrez la conversation d’hier et tout l’historique est encore là.
Les deuxL’historique a été stocké, donc mémorisé, puis replacé dans le contexte à l’ouverture. C’est le second geste qui se paie à chaque requête.
Le test qui tranche
Fermez la conversation, rouvrez-la, et posez une question qui dépend de ce qui a été dit. Ce qui a survécu était de la mémoire. Ce qui a disparu était du contexte.
Le piège
« Le modèle se souvient de moi » est presque toujours faux. Le modèle n’a aucune mémoire : c’est le harnais qui a stocké quelque chose et qui le lui redonne à lire au bon moment.
Vérifier cliquez votre réponse
Niveau 1 · Reconnaître
Qu’est-ce qui se paie à chaque requête ?
Niveau 2 · Distinguer
Une conversation très longue : le système ne retrouve plus une consigne donnée au tout début. Que s’est-il passé ?
Niveau 2 · Distinguer
« Notre assistant a de la mémoire. » Que décrit cette phrase, techniquement ?