Merci pour ce journal, qui distingue bien le fait de réussir à charger un modèle de celui de pouvoir réellement l’utiliser confortablement.
Je travaille principalement sous Ubuntu, notamment pour du développement web, du Python et du LaTeX. Je suis récemment passé de 16 à 32 Go de RAM et j’ai clairement vu la différence, aussi bien dans le confort général que lors de mes essais avec des outils d’IA en local.
Cela dit, votre article me fait me demander si cette augmentation de RAM change réellement le choix du modèle ou si elle ne fait que repousser le moment où les ralentissements deviennent gênants.
Pour un usage assez modeste — aide ponctuelle sur du code, relecture, LaTeX ou analyse de documents — vaut-il mieux privilégier un petit modèle entièrement contenu dans la VRAM, ou les 32 Go de RAM rendent-ils raisonnable l’utilisation d’un modèle plus ambitieux débordant sur le CPU ?
Autrement dit, le passage à 32 Go améliore indéniablement les choses, mais à partir de quel moment la bande passante mémoire et le temps de préremplissage deviennent-ils plus importants que la quantité de RAM disponible ?
# Passer de 16 à 32 Go : un vrai gain, mais jusqu’où ?
Posté par wouf (site web personnel) . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 0 (+0/-0).
Merci pour ce journal, qui distingue bien le fait de réussir à charger un modèle de celui de pouvoir réellement l’utiliser confortablement.
Je travaille principalement sous Ubuntu, notamment pour du développement web, du Python et du LaTeX. Je suis récemment passé de 16 à 32 Go de RAM et j’ai clairement vu la différence, aussi bien dans le confort général que lors de mes essais avec des outils d’IA en local.
Cela dit, votre article me fait me demander si cette augmentation de RAM change réellement le choix du modèle ou si elle ne fait que repousser le moment où les ralentissements deviennent gênants.
Pour un usage assez modeste — aide ponctuelle sur du code, relecture, LaTeX ou analyse de documents — vaut-il mieux privilégier un petit modèle entièrement contenu dans la VRAM, ou les 32 Go de RAM rendent-ils raisonnable l’utilisation d’un modèle plus ambitieux débordant sur le CPU ?
Autrement dit, le passage à 32 Go améliore indéniablement les choses, mais à partir de quel moment la bande passante mémoire et le temps de préremplissage deviennent-ils plus importants que la quantité de RAM disponible ?