• [^] # Re: Auto-hébergement de LLM

    Posté par (site web personnel) . En réponse au message Quelqu'un a testé un ai porn chat sous Linux ?. Évalué à 4 (+2/-0). Dernière modification le 13 mai 2026 à 15:18.

    Ah et zut, pour le docker-compose.yml, j'ai oublié que j'avais customisé mon llama-swap. Du coup, le même, sans ma customisation:

    services:
 llama.cpp:
 image: ghcr.io/mostlygeek/llama-swap:cuda
 restart: "always"
 runtime: nvidia
 ports:
 - "8123:8080"
 volumes:
 - /data/llama.cpp/models:/models
 - ./config.yaml:/app/config.yaml:ro
 deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]