Typo: je voulais parler de ministral-3 et non de mistral-3.
D'ailleurs, pour du role-play, je pense que tu peux commencer par essayer ministral-3-14b-q4. Au doigt mouillé, ça rentrera peut-être sur ton GPU.
Ah oui, aussi, pour savoir si ça rentre: sur l'interface web de llama-swap, tu peux filter les logs de l'"upstream" (llama-server) sur "GPU". Si toutes les layers sont sur le GPU, tu as gagné.
[^] # Re: Auto-hébergement de LLM
Posté par Jérôme Flesch (site web personnel) . En réponse au message Quelqu'un a testé un ai porn chat sous Linux ?. Évalué à 5 (+4/-1). Dernière modification le 13 mai 2026 à 13:33.
Typo: je voulais parler de
ministral-3et non demistral-3.D'ailleurs, pour du role-play, je pense que tu peux commencer par essayer
ministral-3-14b-q4. Au doigt mouillé, ça rentrera peut-être sur ton GPU.Ah oui, aussi, pour savoir si ça rentre: sur l'interface web de llama-swap, tu peux filter les logs de l'"upstream" (llama-server) sur "GPU". Si toutes les layers sont sur le GPU, tu as gagné.