Je pense que d'ici 2 ans, que la grosse bulle va se dégonfler. A part Nvidia, personne ne gagne d'argent. Il va rester ceux qui arrive à rendre un service utile sans cramer 100€/mois d'électricité. Les produits qui utilisent les llm peuvent perdre toute marge dès que les prix montent.
Ils sont encore tous sur du H100 sorti fin 2022 même pour de l’instanciation. J'imagine que l'on aura bientôt des accélérateurs IA avec 256Go de VRAM optimisé pour le int8, int4, mxfp6,... et non pour le fp32. Ils consommeront 10 fois moins que les solutions actuelles orienté méga grosse puissance de calcul.
[^] # Re: lol
Posté par Nicolas Boulay (site web personnel) . En réponse au lien Le développement de l’IA est incompatible avec la décarbonation, souligne le Shift Project. Évalué à -2.
Je pense que d'ici 2 ans, que la grosse bulle va se dégonfler. A part Nvidia, personne ne gagne d'argent. Il va rester ceux qui arrive à rendre un service utile sans cramer 100€/mois d'électricité. Les produits qui utilisent les llm peuvent perdre toute marge dès que les prix montent.
Ils sont encore tous sur du H100 sorti fin 2022 même pour de l’instanciation. J'imagine que l'on aura bientôt des accélérateurs IA avec 256Go de VRAM optimisé pour le int8, int4, mxfp6,... et non pour le fp32. Ils consommeront 10 fois moins que les solutions actuelles orienté méga grosse puissance de calcul.
"La première sécurité est la liberté"