des personnes de mon entourage proche qui me disent "mais pourtant ChatGPT a dit que ..."
On a le même entourage. Souvent c'est un Problème XY : l'utilisateur demande à ChatGPT de résoudre ce qu'il pense être le soucis et le modèle répond sur ça. Sinon je passe aussi mon temps à crier très fort « ChatGPT n'est pas un oracle ! » Il va volontiers inventer, halluciner, ou être en retard sur les connaissances du moment (en particulier si on prend les réponses rapides, sans le modèle-raisonnement et la recherche en ligne). Ça c'est un autre soucis : il n'y a pas qu'un LLM et les résultats sont fortement influencés par le modèle et le prompt utilisateur. Difficile de généraliser. Je ne sais plus où j'ai lu que pour utiliser les LLM, la première chose à maîtriser ce n'est pas le buzz-word "prompt engineering" mais le domaine sur lequel on l'interroge. Un Michu qui vibe-répare avec chatgpt gratuit ça donnera rarement de bons résultats. Garbage-in garbage-out.
[^] # Re: Nouvelles failles ou pas
Posté par Faya . En réponse au journal L'efficacité des LLMs pour la recherche de vulnérabilités, point de vue d'un mainteneur. Évalué à 3 (+1/-0).
On a le même entourage. Souvent c'est un Problème XY : l'utilisateur demande à ChatGPT de résoudre ce qu'il pense être le soucis et le modèle répond sur ça. Sinon je passe aussi mon temps à crier très fort « ChatGPT n'est pas un oracle ! » Il va volontiers inventer, halluciner, ou être en retard sur les connaissances du moment (en particulier si on prend les réponses rapides, sans le modèle-raisonnement et la recherche en ligne). Ça c'est un autre soucis : il n'y a pas qu'un LLM et les résultats sont fortement influencés par le modèle et le prompt utilisateur. Difficile de généraliser. Je ne sais plus où j'ai lu que pour utiliser les LLM, la première chose à maîtriser ce n'est pas le buzz-word "prompt engineering" mais le domaine sur lequel on l'interroge. Un Michu qui vibe-répare avec chatgpt gratuit ça donnera rarement de bons résultats. Garbage-in garbage-out.