C'est des domaines où c'est relativement simple d'avoir des éléments objectifs d'évaluation automatisables. Sur l'échelle de l'IA c'est entre le jeu comme les échecs ou tout est évaluable trivialement sur la correction d'une partie et c'est "gagné, perdu ou nul" et c'est tout, là t'as des batteries de tests par exemple éventuellement en info pour vaguement objectiver des patchs sur une base de code qui peuvent passer ou pas, et (une infinité de) autres domaines où virtuellement faudrait refaire une infinité d'évaluations ou tout revérifier à la main pour redonner du feedback.
C'est donc logique que ce soit leur vitrine, et il y a de l'argent à se faire, bien qu'évidemment malhonnête de laisser penser que les progrès sont forcément identiques dans "toute" l'infinité d'applications possibles et très difficiles à tester correctement et exhaustivement. Logiquement ça implique par contre des progrès moins rapide, cette difficulté de tester automatiquement et donc d'avoir du feedback sur les erreurs. Mais c'est pas explicite sur la plaquette.
[^] # Re: Ok, on est sur LinuxFR
Posté par thoasm . En réponse au journal Modèle Mythos : Anthropic bluffe, en partie. Évalué à 3.
C'est des domaines où c'est relativement simple d'avoir des éléments objectifs d'évaluation automatisables. Sur l'échelle de l'IA c'est entre le jeu comme les échecs ou tout est évaluable trivialement sur la correction d'une partie et c'est "gagné, perdu ou nul" et c'est tout, là t'as des batteries de tests par exemple éventuellement en info pour vaguement objectiver des patchs sur une base de code qui peuvent passer ou pas, et (une infinité de) autres domaines où virtuellement faudrait refaire une infinité d'évaluations ou tout revérifier à la main pour redonner du feedback.
C'est donc logique que ce soit leur vitrine, et il y a de l'argent à se faire, bien qu'évidemment malhonnête de laisser penser que les progrès sont forcément identiques dans "toute" l'infinité d'applications possibles et très difficiles à tester correctement et exhaustivement. Logiquement ça implique par contre des progrès moins rapide, cette difficulté de tester automatiquement et donc d'avoir du feedback sur les erreurs. Mais c'est pas explicite sur la plaquette.