Parce que c'est bien moins cher ! Je ne suis pas un fétichiste du vieux matos.
J'imaginais un plus gros delta de consommation, ça me conforte.
J'ai décroché sur le prix du hardware il y a un bail, mais quand j'ai voulu explorer les IAs et que j'ai vu les tarifs tant en neuf qu'en occasion du matériel adapté, je suis tombé de ma chaise, et ça ne s'est pas arrangé depuis.
Donc si je vise un setup directement performant mais upgradable par ajout, il ne restait pas beaucoup d'options.
Je m'en suis tiré pour 240 (MB+proc) + 180 (RAM) + 45 (ventirad) + 100 (alim 1200W).
Avec ça je double ma vitesse de génération avec mes modèles et ma carte graphique actuelle (Titan Xp), et je peux y placer 3x 3060 12Go en PCIE3 16x as-is, ou autre chose.
Je reste en veille pour voir ce qui se présente avec un bon rapport qualité/prix.
Je dois bien avouer que j'ai utilisé Claude pour les évaluations de gains potentiels. Il connait mon setup, ses performances qui sont documentées dans ses fichiers de projet, les modèles et les apps que j'utilise, et il est idéal pour estimer assez précisément l'avant/après, et trouver les plateformes exotiques quivontbien en évitant les pièges liées à des limitations de chipset, de bios, de gestion mémoire, de mémoire supportée, de connectique, etc...
Il faut souvent lui tirer les vers du nez, mais c'est incomparablement plus rapide que de tout rassembler soi-même, et comme les prix augmentent sans arrêt, y compris en occasion ; le temps c'est vraiment de l'argent.
[^] # Re: Passer de 16 à 32 Go : un vrai gain, mais jusqu’où ?
Posté par mmarc67 . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 0 (+1/-1).
Parce que c'est bien moins cher ! Je ne suis pas un fétichiste du vieux matos.
J'imaginais un plus gros delta de consommation, ça me conforte.
J'ai décroché sur le prix du hardware il y a un bail, mais quand j'ai voulu explorer les IAs et que j'ai vu les tarifs tant en neuf qu'en occasion du matériel adapté, je suis tombé de ma chaise, et ça ne s'est pas arrangé depuis.
Donc si je vise un setup directement performant mais upgradable par ajout, il ne restait pas beaucoup d'options.
Je m'en suis tiré pour 240 (MB+proc) + 180 (RAM) + 45 (ventirad) + 100 (alim 1200W).
Avec ça je double ma vitesse de génération avec mes modèles et ma carte graphique actuelle (Titan Xp), et je peux y placer 3x 3060 12Go en PCIE3 16x as-is, ou autre chose.
Je reste en veille pour voir ce qui se présente avec un bon rapport qualité/prix.
Je dois bien avouer que j'ai utilisé Claude pour les évaluations de gains potentiels. Il connait mon setup, ses performances qui sont documentées dans ses fichiers de projet, les modèles et les apps que j'utilise, et il est idéal pour estimer assez précisément l'avant/après, et trouver les plateformes exotiques quivontbien en évitant les pièges liées à des limitations de chipset, de bios, de gestion mémoire, de mémoire supportée, de connectique, etc...
Il faut souvent lui tirer les vers du nez, mais c'est incomparablement plus rapide que de tout rassembler soi-même, et comme les prix augmentent sans arrêt, y compris en occasion ; le temps c'est vraiment de l'argent.