pré-entraînement

En profondeur

La tâche est d’une simplicité déroutante au regard de ce qu’elle produit : masquer la suite d’un texte et demander au modèle de la deviner, des milliards de fois. Aucune étiquette n’est nécessaire, ce qui permet d’employer des corpus considérables sans travail d’annotation. C’est ce mécanisme qui construit, comme effet de bord, la grammaire, les régularités factuelles, les styles et une part des raisonnements : pour bien prédire la suite d’un raisonnement, il faut avoir capté quelque chose de sa forme.

Vient ensuite une phase de mise au point, souvent appelée post-entraînement, qui change la nature de l’objet sans en changer le savoir. On y apprend au modèle à suivre des instructions à partir d’exemples écrits pour cela, puis à préférer certaines réponses à d’autres, à partir de comparaisons jugées par des humains ou par d’autres modèles. C’est cette seconde phase qui produit l’assistant : le ton, le refus, la structure des réponses en viennent, pas du pré-entraînement.

Séparer ces deux phases éclaire beaucoup de comportements. Un modèle ignore les événements postérieurs à son corpus parce que c’est le pré-entraînement qui fixe la date de coupure, et aucune mise au point ultérieure ne comble ce trou. À l’inverse, deux modèles issus du même pré-entraînement peuvent différer profondément dans leur façon de répondre, puisque tout ce qui relève du comportement s’installe après. C’est aussi ce qui explique que la plupart des acteurs ne pré-entraînent pas : ils partent d’un modèle existant et travaillent l’étage au-dessus.