benchmark

En profondeur

Le principal problème de ces épreuves est la contamination. Elles sont publiques, donc elles finissent dans les corpus d’entraînement, et un modèle peut alors restituer des réponses vues plutôt que résoudre le problème. Les auteurs de benchmarks répondent en publiant des versions renouvelées ou en gardant des jeux privés, mais le soupçon demeure structurel : plus une épreuve est ancienne et citée, moins son score est informatif. Un bon réflexe consiste à regarder la date d’une épreuve autant que le score obtenu.

S’ajoute un biais de sélection dans la communication. Un éditeur choisit les épreuves où son modèle se distingue, et les conditions de mesure varient : nombre d’essais, format des consignes, autorisation de raisonner longuement. Deux chiffres présentés côte à côte peuvent avoir été obtenus dans des conditions incomparables. Les classements par vote humain corrigent une partie du problème mais en introduisent un autre, puisqu’ils mesurent la préférence, qui récompense la présentation autant que l’exactitude.

La conclusion pratique est ferme, et c’est celle que ce lexique défend partout : les benchmarks servent à établir une liste courte, jamais à décider. Le choix se fait sur un jeu d’épreuves à vous, construit à partir de vos cas réels, y compris ceux qui ont échoué par le passé, et rejoué à chaque changement de version. Une trentaine de cas bien choisis en disent davantage sur votre usage que n’importe quel classement public, et ils gardent leur valeur quand les modèles changent.