J’en retiens finalement une règle moins technique que philosophique : faire avec ce que l’on a, avec ce que l’on peut raisonnablement acquérir... et apprendre à s’en contenter.
Ce n’est d’ailleurs pas forcément une résignation. Pour mes usages, le meilleur modèle n’est sans doute pas le plus gros, mais celui qui répond suffisamment bien, sur la machine dont je dispose, sans transformer chaque requête en exercice de méditation.
Le passage de 16 à 32 Go m’a apporté un vrai confort, mais je comprends mieux qu’il ne remplace pas la VRAM et qu’il ne dispense surtout pas d’essayer. Il reste donc à trouver son propre compromis entre intelligence, vitesse, coût et patience — cette dernière ressource étant parfois la plus difficile à augmenter.
[^] # Re: Passer de 16 à 32 Go : un vrai gain, mais jusqu’où ?
Posté par wouf (site web personnel) . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 2 (+2/-0).
Merci pour cette réponse très claire.
J’en retiens finalement une règle moins technique que philosophique : faire avec ce que l’on a, avec ce que l’on peut raisonnablement acquérir... et apprendre à s’en contenter.
Ce n’est d’ailleurs pas forcément une résignation. Pour mes usages, le meilleur modèle n’est sans doute pas le plus gros, mais celui qui répond suffisamment bien, sur la machine dont je dispose, sans transformer chaque requête en exercice de méditation.
Le passage de 16 à 32 Go m’a apporté un vrai confort, mais je comprends mieux qu’il ne remplace pas la VRAM et qu’il ne dispense surtout pas d’essayer. Il reste donc à trouver son propre compromis entre intelligence, vitesse, coût et patience — cette dernière ressource étant parfois la plus difficile à augmenter.