Ah oui pardon. L'inférence c'est un modèle qui génère du texte, "réfléchit" entre guillemets, avant de donner une réponse, ou du code par exemple.
C'est plus coûteux que juste compléter du texte pour générer une réponse directement, mais ça permet certains trucs, genre faire ressortir de l'info du texte, les combiner pour en déduire des nouvelles choses parfois correctes, ou faire des calculs mathématiques à partir de chiffre mémorisés. Évidemment potentiellement ça peut faire exploser le nombre de token générés pour répondre, et donc les coûts associés.
[^] # Re: comparaison avec un moteur de recherche
Posté par thoasm . En réponse au lien Combien d’énergie consomme vraiment l’IA ? La réponse en infographies. Évalué à 3 (+0/-0).
Ah oui pardon. L'inférence c'est un modèle qui génère du texte, "réfléchit" entre guillemets, avant de donner une réponse, ou du code par exemple.
C'est plus coûteux que juste compléter du texte pour générer une réponse directement, mais ça permet certains trucs, genre faire ressortir de l'info du texte, les combiner pour en déduire des nouvelles choses parfois correctes, ou faire des calculs mathématiques à partir de chiffre mémorisés. Évidemment potentiellement ça peut faire exploser le nombre de token générés pour répondre, et donc les coûts associés.