Attention qu'ici on parle très spécifiquement d'erreurs dans des démonstrations mathématique. Une moyenne de 40% ne veut rien dire sur les domaines particulier. Et la démonstration mathématique est un domaine très particulier.
Cela dit : oui. Quand je demande des démonstrations à chatGPT, la démonstration donnée contient souvent des erreurs. Et, plus intéressant, quand je lui signale et lui demande de corriger, il n'y parvient jamais.
Dès que chatGPT dit quelque chose de faux en math, c'est irrécupérable.
Par contre, dans mon expérience, le taux de bonne réponse est clairement en hausse avec les années.
MAIS : les erreurs se font de plus en plus subtiles. Il y a deux ans, il balançait sans sourciller que la mesure de Lebesgue de \mathbb{C} était 1. Donc c'est compact et yolo on fait ce qu'on veut !
Maintenant, les erreurs deviennent indétectables à qui ne lit pas la démonstration ligne par ligne en faisant gaffe à chaque détail.
Il ne faut donc surtout pas se fier à chatGPT si on veut avoir une vue globale d'une démonstration. L'approche qu'il donne est souvent complètement fausse à cause d'un détail qui ne peut pas être remarqué sans une lecture attentive.
[^] # Re: Le cas particulier ChatGPT
Posté par LaurentClaessens (site web personnel) . En réponse à la dépêche Le Frido 2025. Évalué à 8.
Attention qu'ici on parle très spécifiquement d'erreurs dans des démonstrations mathématique. Une moyenne de 40% ne veut rien dire sur les domaines particulier. Et la démonstration mathématique est un domaine très particulier.
Cela dit : oui. Quand je demande des démonstrations à chatGPT, la démonstration donnée contient souvent des erreurs. Et, plus intéressant, quand je lui signale et lui demande de corriger, il n'y parvient jamais.
Dès que chatGPT dit quelque chose de faux en math, c'est irrécupérable.
Par contre, dans mon expérience, le taux de bonne réponse est clairement en hausse avec les années.
MAIS : les erreurs se font de plus en plus subtiles. Il y a deux ans, il balançait sans sourciller que la mesure de Lebesgue de \mathbb{C} était 1. Donc c'est compact et yolo on fait ce qu'on veut !
Maintenant, les erreurs deviennent indétectables à qui ne lit pas la démonstration ligne par ligne en faisant gaffe à chaque détail.
Il ne faut donc surtout pas se fier à chatGPT si on veut avoir une vue globale d'une démonstration. L'approche qu'il donne est souvent complètement fausse à cause d'un détail qui ne peut pas être remarqué sans une lecture attentive.