J'ai 2 GPUs dans ma machine, l'un des deux étant incompatible avec cuda compute > 6. Le serveur démarré à la main via ollama serve détecte bien le bon GPU, alors que daemon systemd détecte le vieux GPU et passe en fallback sur CPU.
Un export CUDA_VISIBLE_DEVICES=GPU-<ID DU GPU> dans .zshrc ne change rien. Argh !
[^] # Re: variable d'environnement
Posté par aboulle . En réponse au journal ollama et le GPU. Évalué à 2.
J'ai 2 GPUs dans ma machine, l'un des deux étant incompatible avec cuda compute > 6. Le serveur démarré à la main via
ollama servedétecte bien le bon GPU, alors que daemon systemd détecte le vieux GPU et passe en fallback sur CPU.Un
export CUDA_VISIBLE_DEVICES=GPU-<ID DU GPU>dans .zshrc ne change rien. Argh !