Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?