Merci pour cette contribution, c'est super intéressant et ça montre aussi qu'on peut utiliser des LLM sans accepter une dépendance à des géants du web.
Il y a quand même une incohérence à propos de cette histoire de coût.
Pour faire court, les API cloud sont horriblement chères.
Si vous espérez avoir un LLM moins cher que les options cloud, c'est pour le moins compliqué.
En fait, c'est très, très, très probablement la deuxième option qui est vraie.
* Les gros acteurs du LLM perdent des milliards par semaine, donc ils sont loin de facturer le coût réel
* Les gros acteurs du LLM bénéficient forcément d'énormes effets de masse (méga-commandes, méga-bâtiments, etc).
* Les gros acteurs du LLM vont pouvoir mieux exploiter leur matériel, du fait de la distribution de leur clients (quand les japonais sont couchés c'est au tour des américains, etc)
C'est inévitable, faire tourner ces logiciels coûte cher, parce que les ressources impliquées sont sans commune mesure avec ce qu'on connaissait jusque là (streamer de la vidéo, centraliser des centaines de connexions sur un serveur de MMORPG, etc). Après, quand on voit ce qu'il fallait pour miner du bitcoin, openAI n'a pas du tout inventé le principe d'utiliser des fermes de calcul entières pour un output minuscule. Il faut donc payer d'une manière ou d'une autre, et je ne suis pas sûr du tout qu'un modèle à base de publicités soit suffisant.
Par contre, je ne sais pas si c'est complètement clair dans le texte, mais ce qui est possible d'héberger, c'est un modèle déja entrainé. L'entrainement du modèle lui-même demande des ressources qui sont hors de portée d'un particulier.
# Cohérence sur cette histoire de coût
Posté par arnaudus . En réponse au journal Auto-héberger ses IA. Évalué à 10 (+16/-0).
Merci pour cette contribution, c'est super intéressant et ça montre aussi qu'on peut utiliser des LLM sans accepter une dépendance à des géants du web.
Il y a quand même une incohérence à propos de cette histoire de coût.
En fait, c'est très, très, très probablement la deuxième option qui est vraie.
* Les gros acteurs du LLM perdent des milliards par semaine, donc ils sont loin de facturer le coût réel
* Les gros acteurs du LLM bénéficient forcément d'énormes effets de masse (méga-commandes, méga-bâtiments, etc).
* Les gros acteurs du LLM vont pouvoir mieux exploiter leur matériel, du fait de la distribution de leur clients (quand les japonais sont couchés c'est au tour des américains, etc)
C'est inévitable, faire tourner ces logiciels coûte cher, parce que les ressources impliquées sont sans commune mesure avec ce qu'on connaissait jusque là (streamer de la vidéo, centraliser des centaines de connexions sur un serveur de MMORPG, etc). Après, quand on voit ce qu'il fallait pour miner du bitcoin, openAI n'a pas du tout inventé le principe d'utiliser des fermes de calcul entières pour un output minuscule. Il faut donc payer d'une manière ou d'une autre, et je ne suis pas sûr du tout qu'un modèle à base de publicités soit suffisant.
Par contre, je ne sais pas si c'est complètement clair dans le texte, mais ce qui est possible d'héberger, c'est un modèle déja entrainé. L'entrainement du modèle lui-même demande des ressources qui sont hors de portée d'un particulier.