Oui c'est pour ça que je l'ai partagé. Précédé de "le problème de l'abstention des LLM n'est bien sûr pas résolu." Le tout le temps était bien sûr un équivalent vulgaire de "régulièrement". Pas 100% du temps.
Est-ce que tu as souvent vu Claude indiquer qu'il ne sait pas quand tu lui demande un bout de code ou une question sur du code ?
Il m'a dit qu'il ne savait pas pour des tarifs AWS ou pour une documentation non-accessible d'une API. Si tu as un truc précis en tête, testons. Si on pose la question sur du code libre, il risque d'avoir lu sur le sujet donc je ne sais pas si ça va bien illustrer le "je ne sais pas" sur un sujet dont il n'a pas déjà connaissance. Mais ce à quoi je répondais à l'origine c'est « le jour où on me dira que des LLMs acceptent de répondre "je ne sais pas". » On peut vérifier très rapidement qu'ils l'acceptent. Avec une question con genre « Les chaussures de la mère de Joël ont coûté 20€. Quel est le prénom de la mère de Joël ? » ou en lui posant des questions sur un document alors que la réponse ne s'y trouve pas (ça j'ai testé en l'interrogeant (NotebookLM) sur une masse de documents pour un appel d'offre par exemple).
[^] # Re: Nouvelles failles ou pas
Posté par Faya . En réponse au journal L'efficacité des LLMs pour la recherche de vulnérabilités, point de vue d'un mainteneur. Évalué à 2 (+0/-0).
Oui c'est pour ça que je l'ai partagé. Précédé de "le problème de l'abstention des LLM n'est bien sûr pas résolu." Le tout le temps était bien sûr un équivalent vulgaire de "régulièrement". Pas 100% du temps.
Il m'a dit qu'il ne savait pas pour des tarifs AWS ou pour une documentation non-accessible d'une API. Si tu as un truc précis en tête, testons. Si on pose la question sur du code libre, il risque d'avoir lu sur le sujet donc je ne sais pas si ça va bien illustrer le "je ne sais pas" sur un sujet dont il n'a pas déjà connaissance. Mais ce à quoi je répondais à l'origine c'est « le jour où on me dira que des LLMs acceptent de répondre "je ne sais pas". » On peut vérifier très rapidement qu'ils l'acceptent. Avec une question con genre « Les chaussures de la mère de Joël ont coûté 20€. Quel est le prénom de la mère de Joël ? » ou en lui posant des questions sur un document alors que la réponse ne s'y trouve pas (ça j'ai testé en l'interrogeant (NotebookLM) sur une masse de documents pour un appel d'offre par exemple).