Je ne considère effectivement pas chatGPT comme un moteur de recherche.
Je tente de lever le malentendu en deux parties : une non-technique qui explique mon flux de travail et une sur ce que je penses qu'il se passe sous le capot.
Au-dessus du capot
Le flux de travail est :
Je dis à chatGPT : "Démontre que XXXXX".
Je vois apparaître à l'écran quelque chose qui ressemble à une démonstration de XXXXX.
Je lis attentivement en prenant des notes sur mon papier de brouillon, comme je le fais pour n'importe quelle "source". Ce faisant, je détaille les calculs et m'assure que les théorèmes utilisés sont déjà dans le Frido (sinon je fais plus de recherche pour trouver un énoncé correct de ce que chatGPT semble utiliser comme résultat intermédiaire).
Quand tout est bon, je rédige en LaTeX depuis mes feuilles de brouillon.
Comme tout le monde il m'arrive de faire des erreurs; je suis assez transparent sur le sujet. Pour l'instant je n'ai pas encore trouvé d'erreur dans le Frido qui serait dûe à une erreur de chatGPT qui m'aurait échappée. Quand ça arrivera, ce sera noté.
Premier message : il n'y a aucun copier-collé de chatGPT vers le Frido, ni d'ailleurs d'aucune sources vers le Frido. Il y a toujours au moins deux rédactions intermédiaires : une à la main de l'écran vers mon papier de brouillon et une au clavier du papier de brouillon vers LaTeX.
Deuxième message : je ne demande pas de définitions à chatGPT, parce si définition ne peut pas être intrinsèquement fausse, elle peut induire méchamment en erreur si elle n'est pas celle acceptée par tout le monde.
Exemple : la définition de la limite d'une fonction en un point par chatGPT :
\forall \varepsilon > 0, \ \exists \delta > 0 \ \text{tel que} \forall x \in D, \ 0 \lt |x-a| \lt \delta \implies \ |f(x) - L| \lt \varepsilon.
Je ne compte pas troller là-dessus aujourd'hui, mais il faut faire gaffe. En France, ça peut d'ailleurs être utilisé comme détecteur de fraude contre les étudiants :)
Sous le capot
Comment peut faire chatGPT pour pondre une démonstration correcte que je n'ai pas pu trouver sur internet ?
Vu que je n'en sais pas plus que ce que j'ai appris de 3Blue1Brown, je ne peux que spéculer. Je vois deux manières.
Le coup des livres privateurs
La démonstration que je cherche a été publiée dans plein de livres privateurs que je ne possède pas et qui ne sont pas réellement trouvables sur internet.
OpenAI se procure un pdf de ces livres d'une façon ou d'une autre.
Ces livres sont dans le corpus.
chatGPT peut fournir une démonstration.
C'est un peu ce que je disais à propos des machines à laver. Il y a donc parfaitement moyen que chatGPT ait dans sa base d’entraînement des choses qui ne sont pas disponibles sur internet. Et c'est d’ailleurs même certain que c'est le cas.
Invention pure et simple
Si la démonstration n'apparaît pas dans le corpus d’entraînement, chatGPT sera en roue libre. Il fournira un texte qui ressemble à une preuve et qui pourrait même être correct plus ou moins par chance contrôlée.
Comme moi, chatGPT «sait» que si j'ai une matrice symétrique, il faut presque certainement prendre une base de diagonalisation; si on a une équation différentielle du premier ordre, il faut voir si Cauchy-Lipchitz est vérifié, etc.
Sur ce point, chatGPT peut en savoir plus que moi. Par exemple je ne voyais pas comment démontrer qu'une transvection est de déterminant 1. C'est chatGPT qui m'a mis sur la piste du lemme des déterminants que je ne connaissais pas.
[^] # Re: Le cas particulier ChatGPT
Posté par LaurentClaessens (site web personnel) . En réponse à la dépêche Le Frido 2025. Évalué à 10.
Je ne considère effectivement pas chatGPT comme un moteur de recherche.
Je tente de lever le malentendu en deux parties : une non-technique qui explique mon flux de travail et une sur ce que je penses qu'il se passe sous le capot.
Au-dessus du capot
Le flux de travail est :
Comme tout le monde il m'arrive de faire des erreurs; je suis assez transparent sur le sujet. Pour l'instant je n'ai pas encore trouvé d'erreur dans le Frido qui serait dûe à une erreur de chatGPT qui m'aurait échappée. Quand ça arrivera, ce sera noté.
Premier message : il n'y a aucun copier-collé de chatGPT vers le Frido, ni d'ailleurs d'aucune sources vers le Frido. Il y a toujours au moins deux rédactions intermédiaires : une à la main de l'écran vers mon papier de brouillon et une au clavier du papier de brouillon vers LaTeX.
Deuxième message : je ne demande pas de définitions à chatGPT, parce si définition ne peut pas être intrinsèquement fausse, elle peut induire méchamment en erreur si elle n'est pas celle acceptée par tout le monde.
Exemple : la définition de la limite d'une fonction en un point par chatGPT :
\forall \varepsilon > 0, \ \exists \delta > 0 \ \text{tel que} \forall x \in D, \ 0 \lt |x-a| \lt \delta \implies \ |f(x) - L| \lt \varepsilon.
Je ne compte pas troller là-dessus aujourd'hui, mais il faut faire gaffe. En France, ça peut d'ailleurs être utilisé comme détecteur de fraude contre les étudiants :)
Sous le capot
Comment peut faire chatGPT pour pondre une démonstration correcte que je n'ai pas pu trouver sur internet ?
Vu que je n'en sais pas plus que ce que j'ai appris de 3Blue1Brown, je ne peux que spéculer. Je vois deux manières.
Le coup des livres privateurs
C'est un peu ce que je disais à propos des machines à laver. Il y a donc parfaitement moyen que chatGPT ait dans sa base d’entraînement des choses qui ne sont pas disponibles sur internet. Et c'est d’ailleurs même certain que c'est le cas.
Invention pure et simple
Si la démonstration n'apparaît pas dans le corpus d’entraînement, chatGPT sera en roue libre. Il fournira un texte qui ressemble à une preuve et qui pourrait même être correct plus ou moins par chance contrôlée.
Comme moi, chatGPT «sait» que si j'ai une matrice symétrique, il faut presque certainement prendre une base de diagonalisation; si on a une équation différentielle du premier ordre, il faut voir si Cauchy-Lipchitz est vérifié, etc.
Sur ce point, chatGPT peut en savoir plus que moi. Par exemple je ne voyais pas comment démontrer qu'une transvection est de déterminant 1. C'est chatGPT qui m'a mis sur la piste du lemme des déterminants que je ne connaissais pas.