Je n'utilise des IA locale qu'avec un CPU, pas encore les moyens d'investir pour le moment, j'espère bien que des solutions vont émerger (ou que les Intel Arc vont finir par fonctionner...), donc ce que je constate, c'est que le modèle met un temps fou à réfléchir après avoir reçu mon prompt.
D'où ma question :
Tu donnes des chiffres de token/s en lecture et en output, mais est-ce que tu intègres ce temps de calcul où le modèle évalue le prompt ?
Si non, est-ce qu'on peut calculer un taux de token/s en fonction du nombre de token en entrée, et avoir une fourchette de token/s généré qui prennent en compte ce temps de calcul ?
« Il n’y a pas de choix démocratiques contre les Traités européens » - Jean-Claude Junker
# Temps de "thinking" après envoie du prompt
Posté par Ontologia (site web personnel) . En réponse au journal Auto-héberger ses IA : Matériel et optimisation de l'inférence. Évalué à 4 (+2/-0). Dernière modification le 06 juillet 2026 à 00:11.
Merci beaucoup pour ce journal très utile.
Je n'utilise des IA locale qu'avec un CPU, pas encore les moyens d'investir pour le moment, j'espère bien que des solutions vont émerger (ou que les Intel Arc vont finir par fonctionner...), donc ce que je constate, c'est que le modèle met un temps fou à réfléchir après avoir reçu mon prompt.
D'où ma question :
Tu donnes des chiffres de token/s en lecture et en output, mais est-ce que tu intègres ce temps de calcul où le modèle évalue le prompt ?
Si non, est-ce qu'on peut calculer un taux de token/s en fonction du nombre de token en entrée, et avoir une fourchette de token/s généré qui prennent en compte ce temps de calcul ?
« Il n’y a pas de choix démocratiques contre les Traités européens » - Jean-Claude Junker