Moui alors comparer des techniques en cours de développement et un bruit médiatiques et des connaissances dessus avec des connaissances pas du tout stabilisées et juste en cours de développement depuis quelques années
C'était pourtant exactement le cas pour le Covid.
Et la prétention à la scientificité de connaissance sur des dispositifs techniques à visée largement commerciales
C'est pas vrai, ni MERT, ni ARC, ni HLE ne sont des gadgets commerciaux. Tout instrument de mesure a des biais et des limites de précision; tous les acteurs commerciaux confrontés à des comparaisons via des benchmarks vont essayer de maximiser leur score aux benchmarks, mais ça ne veut absolument pas dire que les résultats ne sont que du bruit. Et de toutes manières, on ne parle pas de passer de 50% à 51% de réussite; par exemple pour ARC2 (qui propose des tests destinés à être faciles pour les humains et difficiles pour les machines), on passe de 10% à 80% de réussite en 2 ans.
Donc si, la plupart de ces tests sont scientifiques, dans la mesure où ils sont conçus comme des outils scientifiques, par des scientifiques, et leur objectif est de mesurer les performances des AI de manière objective. Les acteurs AI peuvent bien entendu essayer de profiter d'eventuelles failles ou même de tricher, un peu comme les constructeurs de bagnoles qui détectaient les environnements de tests pollution, mais ça ne rend pas les tests moins "scientifiques".
La seule vraie limite des benchmarks est leur saturation, et la saturation est due aux progrès très rapide des modèles, donc oui, les benchmarks sont limités, mais cette limite va dans le sens de la sous-évaluation des capacités des modèles.
En tout état de cause, même si tu ne crois pas aux benchmarks ni aux publications marketteuses ni aux papiers dans Arxiv ni à rien de ce qui sort d'aucun labo en lien plus ou moins direct avec les acteurs de l'AI (donc aucun labo, en fait), tu peux essayer tous les 6 mois de poser quelques questions aux chatbots grand public et voir par toi-même que les expériences un peu ridicules des premières versions de ChatGPT ne sont plus reproductibles depuis longtemps. Tu peux te faire ton propre benchmark à la crado, faire une liste de 10 questions, et regarder le taux de réponse correct par ChatGPT, Gemini, Deepseek, etc. Et tu vas arriver au même résultat que l'état de l'art, tu vas obtenir 100% de bonnes réponses par tous les modèles, et il va falloir que tu trouves des questions plus dures. Et dans 2 ans tu auras de nouveau 100% de bonnes réponses, et tu devras encore poser des questions plus dures, etc. Je n'arrive pas à imaginer une expérience personnelle menée de bonne foi qui puisse suggérer un seul instant que les modèles, même les versions gratuites pour le grand public, ne progressent pas.
[^] # Re: Inutile
Posté par arnaudus . En réponse à la dépêche Nouvelles sur l’IA de février 2026. Évalué à 5.
C'était pourtant exactement le cas pour le Covid.
C'est pas vrai, ni MERT, ni ARC, ni HLE ne sont des gadgets commerciaux. Tout instrument de mesure a des biais et des limites de précision; tous les acteurs commerciaux confrontés à des comparaisons via des benchmarks vont essayer de maximiser leur score aux benchmarks, mais ça ne veut absolument pas dire que les résultats ne sont que du bruit. Et de toutes manières, on ne parle pas de passer de 50% à 51% de réussite; par exemple pour ARC2 (qui propose des tests destinés à être faciles pour les humains et difficiles pour les machines), on passe de 10% à 80% de réussite en 2 ans.
Donc si, la plupart de ces tests sont scientifiques, dans la mesure où ils sont conçus comme des outils scientifiques, par des scientifiques, et leur objectif est de mesurer les performances des AI de manière objective. Les acteurs AI peuvent bien entendu essayer de profiter d'eventuelles failles ou même de tricher, un peu comme les constructeurs de bagnoles qui détectaient les environnements de tests pollution, mais ça ne rend pas les tests moins "scientifiques".
La seule vraie limite des benchmarks est leur saturation, et la saturation est due aux progrès très rapide des modèles, donc oui, les benchmarks sont limités, mais cette limite va dans le sens de la sous-évaluation des capacités des modèles.
En tout état de cause, même si tu ne crois pas aux benchmarks ni aux publications marketteuses ni aux papiers dans Arxiv ni à rien de ce qui sort d'aucun labo en lien plus ou moins direct avec les acteurs de l'AI (donc aucun labo, en fait), tu peux essayer tous les 6 mois de poser quelques questions aux chatbots grand public et voir par toi-même que les expériences un peu ridicules des premières versions de ChatGPT ne sont plus reproductibles depuis longtemps. Tu peux te faire ton propre benchmark à la crado, faire une liste de 10 questions, et regarder le taux de réponse correct par ChatGPT, Gemini, Deepseek, etc. Et tu vas arriver au même résultat que l'état de l'art, tu vas obtenir 100% de bonnes réponses par tous les modèles, et il va falloir que tu trouves des questions plus dures. Et dans 2 ans tu auras de nouveau 100% de bonnes réponses, et tu devras encore poser des questions plus dures, etc. Je n'arrive pas à imaginer une expérience personnelle menée de bonne foi qui puisse suggérer un seul instant que les modèles, même les versions gratuites pour le grand public, ne progressent pas.