Que me conseillez-vous ? (chipset M3/M4, ou AMD Ryzen AI Max+ 395, ou chipset Nvidia GB10)
Où est-ce mieux de miser sur une carte graphique Nvidia et un CPU plus classique ?
le matos CPU/GPU classique si c'est pas pour jouer, tu va depenser un bras pour "rien"
on trouve maintenant des cartes nvidia H100 et des adaptateurs vers PCIe pour environ 300euros, ca reste plus performant pour du LLM qu'une 4090 et y a plus de vRAM dédiée
y a aussi des modules NVMe à mettre dans une machine plus classique, mais ensuite ca va quand meme etre la "vRAM" qui va jouer, il te faut regarder les performances en Tflops en FP16/FP8/FP4 suivant les modeles que tu vises.
# du matos dédié
Posté par NeoX . En réponse au message Retours d'expériences Hardware pour homelab LLM. Évalué à 4 (+1/-0).
vu ton budget, j'irai vers du matos dédié
le matos CPU/GPU classique si c'est pas pour jouer, tu va depenser un bras pour "rien"
on trouve maintenant des cartes nvidia H100 et des adaptateurs vers PCIe pour environ 300euros, ca reste plus performant pour du LLM qu'une 4090 et y a plus de vRAM dédiée
y a aussi des modules NVMe à mettre dans une machine plus classique, mais ensuite ca va quand meme etre la "vRAM" qui va jouer, il te faut regarder les performances en Tflops en FP16/FP8/FP4 suivant les modeles que tu vises.