Merci pour ce journal, avoir la consommation électrique est primordiale.
Pour de l'inférence, il vaut mieux utiliser des services spécialisés, comme groq. ça doit être 10 fois plus efficace que du NVidia (ou AMD, ROCm, tout ça, et MAC) pour l'inférence.
# groq
Posté par YBoy360 (site web personnel) . En réponse au journal LLM auto-hébergés ou non : mon expérience. Évalué à 2.
Merci pour ce journal, avoir la consommation électrique est primordiale.
Pour de l'inférence, il vaut mieux utiliser des services spécialisés, comme groq. ça doit être 10 fois plus efficace que du NVidia (ou AMD, ROCm, tout ça, et MAC) pour l'inférence.
https://groq.com/
Quelle est la consommation d'un M2 ou un M3 pour la même chose ?