Moi, j'utilise un vieux Dell de 2018 avec un Xeon, 32 Go de RAM DDR4 et deux Nvidia Quadro P5000.
Je fais tourner des modèles jusqu'à 32B dessus, et les architectures MoE (Mixture of Experts) carburent carrément bien. Les Nemotron fonctionnent bien aussi. Sinon, Qwen 3.6 est vachement chouette... bon, par contre, il prend son temps pour réfléchir.
Mon serveur d'inférence tourne occasionnellement : ça bouffe un jus pas possible, et pour mon usage, c'est finalement moins cher (et plus rapide) de taper sur une API.
Côté matos, les NPU et GPU Intel se défendent. Ça marche bien, même si c'est un poil plus lent que chez les verts. Sur mon laptop (un HP sous Ubuntu avec un Ultra 7 Lunar Lake), je fais tourner Qwen 2.5 sur le NPU (qu'est-ce qu'il est bête celui-là, au passage) et Ministral 4 14B sur le GPU avec Ollama.
Par contre, si j'avais le budget, je n'irais pas claquer mon PEL dans une RTX *090. Je partirais plutôt sur une DGX Spark de Nvidia, ou sur son alternative moins chère avec les mêmes entrailles : une Lenovo ThinkStation PGX (128 Go de RAM unifiée avec un GB10 de Nvidia) pour le prix d'une RTX 5090.
Autre bon plan à connaître : chez OpenAI, si vous acceptez de leur donner votre trafic pour entraîner leurs modèles (le fameux "si c'est gratuit, c'est toi le produit"), ils vous filent des tokens gratuits selon votre niveau. En Tier 2 (à partir de 50$ dépensés chez eux), je reçois jusqu'à 1 million de tokens par jour sur les gros LLM et 10 millions sur les petits (attention, uniquement les modèles texte et omni). En Tier 1, c'est peau de chagrin. Ça permet de bricoler et d'expérimenter gratuitement, mais attention : on n'y envoie rien de confidentiel.
En général, je privilégie les petits LLM (qui demandent par contre d'être bien mieux promptés) et je sors l'artillerie lourde uniquement quand ça coince. J'utilise aussi OpenRouter, c'est le couteau suisse parfait pour tester pas mal de modèles.
Enfin, pitié, n'utilisez pas de LLM pour des actions déterministes. C'est un immense gâchis de ressources (et je soupçonne beaucoup de gens de le faire). J'ai pas mal d'automatisations chez moi, et j'y intègre finalement très peu d'IA : juste là où ça a vraiment du sens, comme la traduction de flux RSS ou le résumé de vidéos YouTube.
texte corrigé avec l'aide de gemini (parce que je suis une bille en français)
# au niveau du matos
Posté par Ecran Plat (site web personnel) . En réponse au journal Auto-héberger ses IA. Évalué à 9 (+7/-0).
Moi, j'utilise un vieux Dell de 2018 avec un Xeon, 32 Go de RAM DDR4 et deux Nvidia Quadro P5000.
Je fais tourner des modèles jusqu'à 32B dessus, et les architectures MoE (Mixture of Experts) carburent carrément bien. Les Nemotron fonctionnent bien aussi. Sinon, Qwen 3.6 est vachement chouette... bon, par contre, il prend son temps pour réfléchir.
Mon serveur d'inférence tourne occasionnellement : ça bouffe un jus pas possible, et pour mon usage, c'est finalement moins cher (et plus rapide) de taper sur une API.
Côté matos, les NPU et GPU Intel se défendent. Ça marche bien, même si c'est un poil plus lent que chez les verts. Sur mon laptop (un HP sous Ubuntu avec un Ultra 7 Lunar Lake), je fais tourner Qwen 2.5 sur le NPU (qu'est-ce qu'il est bête celui-là, au passage) et Ministral 4 14B sur le GPU avec Ollama.
Par contre, si j'avais le budget, je n'irais pas claquer mon PEL dans une RTX *090. Je partirais plutôt sur une DGX Spark de Nvidia, ou sur son alternative moins chère avec les mêmes entrailles : une Lenovo ThinkStation PGX (128 Go de RAM unifiée avec un GB10 de Nvidia) pour le prix d'une RTX 5090.
Autre bon plan à connaître : chez OpenAI, si vous acceptez de leur donner votre trafic pour entraîner leurs modèles (le fameux "si c'est gratuit, c'est toi le produit"), ils vous filent des tokens gratuits selon votre niveau. En Tier 2 (à partir de 50$ dépensés chez eux), je reçois jusqu'à 1 million de tokens par jour sur les gros LLM et 10 millions sur les petits (attention, uniquement les modèles texte et omni). En Tier 1, c'est peau de chagrin. Ça permet de bricoler et d'expérimenter gratuitement, mais attention : on n'y envoie rien de confidentiel.
En général, je privilégie les petits LLM (qui demandent par contre d'être bien mieux promptés) et je sors l'artillerie lourde uniquement quand ça coince. J'utilise aussi OpenRouter, c'est le couteau suisse parfait pour tester pas mal de modèles.
Enfin, pitié, n'utilisez pas de LLM pour des actions déterministes. C'est un immense gâchis de ressources (et je soupçonne beaucoup de gens de le faire). J'ai pas mal d'automatisations chez moi, et j'y intègre finalement très peu d'IA : juste là où ça a vraiment du sens, comme la traduction de flux RSS ou le résumé de vidéos YouTube.
texte corrigé avec l'aide de gemini (parce que je suis une bille en français)