Je suis moi même en train d'essayer de me monter une machine me permettant de faire tourner des plus gros modèles, et mes modèles actuels plus vite.
Si on laisse de côté la carte graphique, qui est devenue plus rare et chère qu'une licorne, le levier côté RAM se situe au niveau de la bande passante.
Pour ma part, je remplace mon i7-7700k sur chipset h270 (dual channel DDR4 2133MHz) par un threadripper 1950x sur chipset x399.
J'y perds de la consommation électrique en idle (les remarques assassines vont fuser), mais j'y gagne un quasi doublement de la bande passante, (DDR4 2666MHz dual rank quad channel), la possibilité d'installer 3 cartes graphiques sur 16 lignes PCIE3 chacune, au lieu d'un 16+4 sur ma carte mère actuelle, et des performances brutes en multi thread bien meilleures.
Grosso modo un petit cran en dessous de la bande passante d'une plateforme DDR5 entrée de gamme en dual channel, pour une fraction du prix.
Il est encore possible de trouver de bonnes affaires sur des composants un peu exotiques et anciens de ce type, qui ont des specs adaptées à l'inférence tout en restant accessibles sur le marché de l'occasion.
Et si j'ai tout bien compris, en simplifiant et toutes choses étant égales par ailleurs, 2x plus de bande passante mémoire = 2x plus de tokens/s si le calcul suit, en RAM comme en VRAM ; et si ton modèle est en RAM, la vitesse de prefill augmentera aussi.
[^] # Re: Passer de 16 à 32 Go : un vrai gain, mais jusqu’où ?
Posté par mmarc67 . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 0 (+0/-0).
Je suis moi même en train d'essayer de me monter une machine me permettant de faire tourner des plus gros modèles, et mes modèles actuels plus vite.
Si on laisse de côté la carte graphique, qui est devenue plus rare et chère qu'une licorne, le levier côté RAM se situe au niveau de la bande passante.
Pour ma part, je remplace mon i7-7700k sur chipset h270 (dual channel DDR4 2133MHz) par un threadripper 1950x sur chipset x399.
J'y perds de la consommation électrique en idle (les remarques assassines vont fuser), mais j'y gagne un quasi doublement de la bande passante, (DDR4 2666MHz dual rank quad channel), la possibilité d'installer 3 cartes graphiques sur 16 lignes PCIE3 chacune, au lieu d'un 16+4 sur ma carte mère actuelle, et des performances brutes en multi thread bien meilleures.
Grosso modo un petit cran en dessous de la bande passante d'une plateforme DDR5 entrée de gamme en dual channel, pour une fraction du prix.
Il est encore possible de trouver de bonnes affaires sur des composants un peu exotiques et anciens de ce type, qui ont des specs adaptées à l'inférence tout en restant accessibles sur le marché de l'occasion.
Et si j'ai tout bien compris, en simplifiant et toutes choses étant égales par ailleurs, 2x plus de bande passante mémoire = 2x plus de tokens/s si le calcul suit, en RAM comme en VRAM ; et si ton modèle est en RAM, la vitesse de prefill augmentera aussi.