Par exemple on commence à avoir des boîtes (Über il me semble) qui ont annoncé qu'ils avaient explosé leur budget annuel en IA en moins d'un trimestre. D'autres études qui commencent à sortir et dire que le budget réel de l'IA est supérieur à celui des ingénieurs qu'elles sont supposées "remplacer".
Du coup à long terme plutôt que de jouer avec llama-cpp pour tes projets hobby, ça ne vaudrait pas le coup d'embaucher un (削除) esclave indien (削除ここまで) ingénieur pour qu'il code ce que tu as besoin? J'ai du mal à croire qu'on puisse arriver à obtenir un coût plus bas en autohébergeant une IA avec son propre matos que via les économies d'échelles réalisées dans un datacenter. J'ai l'impression que ça reste viable maintenant parce que les modèls Qwen ou Gemma sont subventionnés par les chinois qui nous proposent des modèles gratuits dans le but de flinguer le marché US, mais le jour où les chinois ont rattrapé leur retard sur Anthropic et OpenAI et arrêtent de nous distribuer des modèles gratuits, tu vas les créér comment tes modèles? D'autant plus que l'optimization et paramétrisation des modèles demande beaucoup de ressources humaines.
# Coût
Posté par Psychofox (Mastodon) . En réponse au journal Auto-héberger ses IA : Matériel et optimisation de l'inférence. Évalué à 3 (+1/-1). Dernière modification le 06 juillet 2026 à 11:11.
Tu ne mentionnes pas le TCO de ton affaire là.
Par exemple on commence à avoir des boîtes (Über il me semble) qui ont annoncé qu'ils avaient explosé leur budget annuel en IA en moins d'un trimestre. D'autres études qui commencent à sortir et dire que le budget réel de l'IA est supérieur à celui des ingénieurs qu'elles sont supposées "remplacer".
Du coup à long terme plutôt que de jouer avec llama-cpp pour tes projets hobby, ça ne vaudrait pas le coup d'embaucher un
(削除) esclave indien (削除ここまで)ingénieur pour qu'il code ce que tu as besoin? J'ai du mal à croire qu'on puisse arriver à obtenir un coût plus bas en autohébergeant une IA avec son propre matos que via les économies d'échelles réalisées dans un datacenter. J'ai l'impression que ça reste viable maintenant parce que les modèls Qwen ou Gemma sont subventionnés par les chinois qui nous proposent des modèles gratuits dans le but de flinguer le marché US, mais le jour où les chinois ont rattrapé leur retard sur Anthropic et OpenAI et arrêtent de nous distribuer des modèles gratuits, tu vas les créér comment tes modèles? D'autant plus que l'optimization et paramétrisation des modèles demande beaucoup de ressources humaines.