Moi aussi je cherche un moyen d'avoir un LLM en local ou au moins self-hosted.
J'ai essayé avec Jan (mentionné plus haut) ou ollama.
Cela fonctionne bien sur des petits modèles (15B) mais c'est extrêmement lent.
Du genre un mot par seconde avec la machine au taquet.
J'ai un amis qui a une NVIDIA 4080 et il montait à 50 mots par secondes. Mais rien que la carte coûte plus de 2000e.
Mais pour avoir des modèles réellement utiles, 70B et plus, c'est impossible sur une machine perso. Il faut une machine spécifique avec 8 cartes installées.
# petit et lent
Posté par steph1978 . En réponse au message IA Pratique. Évalué à 2.
Moi aussi je cherche un moyen d'avoir un LLM en local ou au moins self-hosted.
J'ai essayé avec Jan (mentionné plus haut) ou ollama.
Cela fonctionne bien sur des petits modèles (15B) mais c'est extrêmement lent.
Du genre un mot par seconde avec la machine au taquet.
J'ai un amis qui a une NVIDIA 4080 et il montait à 50 mots par secondes. Mais rien que la carte coûte plus de 2000e.
Mais pour avoir des modèles réellement utiles, 70B et plus, c'est impossible sur une machine perso. Il faut une machine spécifique avec 8 cartes installées.