Tout dépend ce qu'on attend d'une IA, si c'est produire du contenu quel que soit le contenu, ou si on lui demande de fournir des connaissances.
C’est une vraie bonne question et, justement, les concepteurs de ChatGPT/GPT considèrent que le but ne doit pas être de produire du contenu quel qu’il soit, mais plutôt de fournir des connaissances. Ils ont fait des efforts en ce sens et communiqué dessus, cf https://openai.com/research/gpt-4 paragraphes « Limitations » et « Risks & mitigations » en particulier :
Limitations
Despite its capabilities, GPT-4 has similar limitations as earlier GPT models. Most importantly, it still is not fully reliable (it "hallucinates" facts and makes reasoning errors). Great care should be taken when using language model outputs, particularly in high-stakes contexts, with the exact protocol (such as human review, grounding with additional context, or avoiding high-stakes uses altogether) matching the needs of a specific use-case.
While still a real issue, GPT-4 significantly reduces hallucinations relative to previous models (which have themselves been improving with each iteration). GPT-4 scores 40% higher than our latest GPT-3.5 on our internal adversarial factuality evaluations:
Ainsi que :
Risks & mitigations
We’ve been iterating on GPT-4 to make it safer and more aligned from the beginning of training, with efforts including selection and filtering of the pretraining data, evaluations and expert engagement, model safety improvements, and monitoring and enforcement.
[...]
Our mitigations have significantly improved many of GPT-4’s safety properties compared to GPT-3.5. We’ve decreased the model’s tendency to respond to requests for disallowed content by 82% compared to GPT-3.5, and GPT-4 responds to sensitive requests (e.g., medical advice and self-harm) in accordance with our policies 29% more often.
Or, les tests indépendants montrent que GPT-4 est toujours facile à contourner, voire sort des contenus problématiques plus facilement (sans tordre les prompts) que GPT-3.5.
[^] # Re: Premier exemple douteux
Posté par SpaceFox (site web personnel, Mastodon) . En réponse au lien GPT-4 plus enclin à disséminer des fausses informations [en anglais, le vrai titre est trop long]. Évalué à 3. Dernière modification le 22 mars 2023 à 14:24.
C’est une vraie bonne question et, justement, les concepteurs de ChatGPT/GPT considèrent que le but ne doit pas être de produire du contenu quel qu’il soit, mais plutôt de fournir des connaissances. Ils ont fait des efforts en ce sens et communiqué dessus, cf https://openai.com/research/gpt-4 paragraphes « Limitations » et « Risks & mitigations » en particulier :
Ainsi que :
Or, les tests indépendants montrent que GPT-4 est toujours facile à contourner, voire sort des contenus problématiques plus facilement (sans tordre les prompts) que GPT-3.5.
La connaissance libre : https://zestedesavoir.com