modèle de langage (LLM)

En profondeur

Un modèle de langage est entraîné à une seule tâche : deviner l’élément suivant d’une suite de texte. Le texte lui arrive découpé en tokens, il attribue à chaque token possible une probabilité d’être le suivant, un tirage choisit, le résultat est réinjecté et l’opération recommence. Toute la variété apparente des usages, résumer, traduire, rédiger, classer, découle de cette unique opération répétée. La conséquence est directe : le modèle produit toujours quelque chose, y compris quand il n’a aucune raison d’avoir raison.

Par lui-même, un modèle de langage n’a ni mémoire, ni accès au monde extérieur, ni capacité d’action : ces trois choses lui sont ajoutées par ce qu’on construit autour de lui. Il ne connaît que ce qui figurait dans ses données d’entraînement et ce qu’on lui remet sous les yeux à chaque appel. C’est ce qui rend la frontière avec l’agent nette : le modèle rend une réponse et s’arrête là, l’agent est le système qui enchaîne les tours et déclenche des actions. Confondre les deux fait prêter au modèle des pouvoirs qui appartiennent au harnais, ou lui imputer des limites qu’il n’a plus.

Le piège le plus fréquent consiste à lire l’aisance comme une compétence : la fluidité d’une réponse et sa justesse sont deux dimensions indépendantes, et le style ne renseigne en rien sur l’exactitude. Un deuxième piège tient à la taille : un modèle plus gros n’est pas meilleur sur toutes les tâches, et il coûte plus cher à chaque appel, ce qui conduit les architectures sérieuses à réserver les modèles les plus capables aux étapes qui le méritent. Un troisième est plus sournois : le modèle ne distingue pas nativement une consigne d’un document, puisque tout lui arrive sous forme de texte. Une instruction glissée dans une page peut donc être suivie comme si elle venait de vous, et c’est le point de départ de la plupart des questions de sécurité à cet étage.