Il y a eu une série de papier sur le cout énergétique d'une requète. Googe avait estimer qu'avec l'ensemble de ses effort à tous les niveaux, il avait divisé par 10 ce chiffre en 1 an. Nvidia a sorti un papier sur un nouvel algo moins couteux. Sa nouvelle puce (B300) annonce +50% de puissance par watt. MistralIA annonce un rendement de 50% de l'investissement en hardware : 1 milliards en rapporte 2 (audition du Sénat). Un papier sur Antropic annonce 80% de marge sur l'inférence, mais que c'est l'entrainement qui leur fait perdre de l'argent. Du hardware spécialisé en inférence sort (TPU avec systolic array de Google, puce spécialisé avec opérateur fp4 ou fp6, ASIC dédié), ces puces annoncent encore une division par 10 de la consommation.
L'usage de l'IA représente par personne, quelques secondes de douche pour l'eau et quelques secondes de micro-onde pour l'énergie.
La bulle est annoncé depuis longtemps, mais elle n'éclate toujours pas, MistralIA n'a pas l'air de la craindre. Pour eux le GPU transforme l'énergie en traitement de token (2kw le GPU, cela fait 3 à 4k€/an/GPU en France), l'énergie est le vrai cout, donc il y a des milliards pour le baisser. La pression est énorme aussi pour devenir rentable.
[^] # Re: Spéculations
Posté par Nicolas Boulay (site web personnel) . En réponse au journal Gains potentiels de l'IA en terme d'optimisation énergétique, et consommation d'énergie. Évalué à 2 (+2/-3).
Il y a eu une série de papier sur le cout énergétique d'une requète. Googe avait estimer qu'avec l'ensemble de ses effort à tous les niveaux, il avait divisé par 10 ce chiffre en 1 an. Nvidia a sorti un papier sur un nouvel algo moins couteux. Sa nouvelle puce (B300) annonce +50% de puissance par watt. MistralIA annonce un rendement de 50% de l'investissement en hardware : 1 milliards en rapporte 2 (audition du Sénat). Un papier sur Antropic annonce 80% de marge sur l'inférence, mais que c'est l'entrainement qui leur fait perdre de l'argent. Du hardware spécialisé en inférence sort (TPU avec systolic array de Google, puce spécialisé avec opérateur fp4 ou fp6, ASIC dédié), ces puces annoncent encore une division par 10 de la consommation.
L'usage de l'IA représente par personne, quelques secondes de douche pour l'eau et quelques secondes de micro-onde pour l'énergie.
La bulle est annoncé depuis longtemps, mais elle n'éclate toujours pas, MistralIA n'a pas l'air de la craindre. Pour eux le GPU transforme l'énergie en traitement de token (2kw le GPU, cela fait 3 à 4k€/an/GPU en France), l'énergie est le vrai cout, donc il y a des milliards pour le baisser. La pression est énorme aussi pour devenir rentable.
"La première sécurité est la liberté"