Il y a de l'aléatoire dans la sortie. Le modèle va prédire la probabilité de chaque token (grosso modo mot) de suivre le texte déjà entré. Les utilisations type ChatGPT vont ensuite choisir aléatoirement parmi les tokens de plus forte probabilité (avec une pondération).
Les différentes expériences ont montré qu'avec un peu d'aléatoire, les sorties avaient l'air plus naturelles que quand on prend toujours la plus probable. C'est empirique, surtout sur du ressenti relativement difficile à quantifier. Ca permet aussi de relancer les réponses et ça évite des effets "boucle" ou le modèle se met à prédire en boucle la même suite de mots (ça arrive pas mal sur les completions de clavier de smartphone qui ne gardent qu'un tout petit historique).
Donc en soit, l'algorithme donnant une probabilité à chaque token suivant est globalement déterministe (il peut y avoir des erreurs d'arrondis de float par exemple), mais celui cherchant à produire un texte naturel va ajouter un peu d'aléa.
[^] # Re: Bel argumentaire mais incomplet
Posté par Fulgrim . En réponse au journal [Trolldi] Vulgarisation sur l'IA pour décideur pressé. Évalué à 2. Dernière modification le 09 avril 2024 à 13:07.
Il y a de l'aléatoire dans la sortie. Le modèle va prédire la probabilité de chaque token (grosso modo mot) de suivre le texte déjà entré. Les utilisations type ChatGPT vont ensuite choisir aléatoirement parmi les tokens de plus forte probabilité (avec une pondération).
Les différentes expériences ont montré qu'avec un peu d'aléatoire, les sorties avaient l'air plus naturelles que quand on prend toujours la plus probable. C'est empirique, surtout sur du ressenti relativement difficile à quantifier. Ca permet aussi de relancer les réponses et ça évite des effets "boucle" ou le modèle se met à prédire en boucle la même suite de mots (ça arrive pas mal sur les completions de clavier de smartphone qui ne gardent qu'un tout petit historique).
Donc en soit, l'algorithme donnant une probabilité à chaque token suivant est globalement déterministe (il peut y avoir des erreurs d'arrondis de float par exemple), mais celui cherchant à produire un texte naturel va ajouter un peu d'aléa.