Merci énormément pour ces rapports factuels. Les forums (et même parfois celui-ci) sont parfois pollués par une forme de négationnisme (ou de déni) quant aux capacités de ces modèles, et c'est agréable d'avoir des données techniques objectives.
Objectifs, objectifs, y'a forcément des biais, en premier lieu car beaucoup d'informations sur ces technos proviennent... des entreprises éditrices avec des limitations évidentes et il y a à redire.
La recherche plus académique a forcément un train de retard sur les évaluations. Il faut donc aussi être vigilant à ce sujet.
Objectives, et quand même inquiétantes, puisqu'apparemment les derniers modèles défoncent tous les benchmarks existants.
Il semble quand même que les benchmarks ne sont pas si intéressants pour évaluer les LLMs que ce que les éditeurs en disent :
Les benchmarks sont des exercices très délimités, ce qui limite l'évaluation des conditions réelles (de la même façon que tu peux être brillant devant un examen de maths mais ne pas réussir à l'appliquer dans la vie en conditions réelles) ;
Il y a des contaminations, car les modèles ont ces benchmarks dans les entrainements, donc faire la part entre la capacité réelle du modèle et l'effet de la mémorisation n'est pas un exercice facile et il semble bien qu'une partie de l'amélioration des scores viennent de là (mais pas que, évidemment) ;
Comme le benchmark est un KPI très scruté, le éditeurs font probablement des entrainements dédiés pour améliorer le score même si le modèle n'a pas progressé par ailleurs.
Je ne dis pas qu'il n'y a aucune performance dedans et qu'on ne peut rien en tirer (des benchmarks comme des LLMs), mais l'exercice semble réellement difficile pour les évaluer convenablement. ET pas impossible qu'il y ait besoin de temps aussi pour trouver de bonnes approches de la question.
Un deuxième point mentionné, c'est la capacité des modèles récents à détecter les environnements de test, et à contourner les mesures visant à limiter cette détection.
En tout cas je trouve assez irresponsable que les éditeurs délivrent des outils qu'ils n'arrivent pas à évaluer proprement avant et que les évaluations sont par ailleurs effectuées essentiellement en interne. Il faudrait réguler tout ça pour imposer des contrôles externes obligatoires.
[^] # Re: Merci
Posté par Renault (site web personnel) . En réponse à la dépêche Nouvelles sur l’IA de février 2026. Évalué à 10.
Objectifs, objectifs, y'a forcément des biais, en premier lieu car beaucoup d'informations sur ces technos proviennent... des entreprises éditrices avec des limitations évidentes et il y a à redire.
La recherche plus académique a forcément un train de retard sur les évaluations. Il faut donc aussi être vigilant à ce sujet.
Il semble quand même que les benchmarks ne sont pas si intéressants pour évaluer les LLMs que ce que les éditeurs en disent :
Je ne dis pas qu'il n'y a aucune performance dedans et qu'on ne peut rien en tirer (des benchmarks comme des LLMs), mais l'exercice semble réellement difficile pour les évaluer convenablement. ET pas impossible qu'il y ait besoin de temps aussi pour trouver de bonnes approches de la question.
En tout cas je trouve assez irresponsable que les éditeurs délivrent des outils qu'ils n'arrivent pas à évaluer proprement avant et que les évaluations sont par ailleurs effectuées essentiellement en interne. Il faudrait réguler tout ça pour imposer des contrôles externes obligatoires.