distillation

En profondeur

Le procédé s’est simplifié avec les modèles de langage. On fait produire au grand modèle un grand nombre de réponses, éventuellement avec leurs étapes de raisonnement, puis on entraîne le petit modèle sur ce corpus. Il n’apprend pas du monde mais d’un autre modèle, ce qui est très efficace : il hérite d’un comportement déjà mis au point sans repasser par un pré-entraînement complet, hors de portée de presque tout le monde.

L’intérêt économique est considérable et explique le paysage actuel. Un modèle dix fois plus petit coûte environ dix fois moins cher par requête, répond plus vite, tient sur une machine modeste, parfois sur un téléphone. Pour une tâche bien délimitée, classer, extraire, reformuler, l’écart de qualité avec le grand modèle devient souvent négligeable. La bonne architecture n’est donc pas toujours d’appeler le meilleur modèle partout, mais de réserver les gros aux cas difficiles.

Deux limites doivent être connues. La première est juridique : les conditions d’utilisation de la plupart des services interdisent d’employer leurs sorties pour entraîner un modèle concurrent, et le procédé a déjà donné lieu à des accusations publiques entre éditeurs. La seconde est qualitative : le modèle distillé hérite aussi des erreurs et des biais de son maître, sans disposer de la marge qui permettait à celui-ci de se rattraper. Il faut donc l’évaluer pour lui-même, et non se fier au fait qu’il descende d’un modèle réputé.