Merci pour ce tour d'horizon. De mon coté, j'utilise RamaLama. Ça ressemble à ollama mais en utilisant des containeurs podman. C'est open-source (je crois) et soutenu par Red Hat. Il s'installe facilement grâce à pip dans un venv python. Il utilise parfaitement ma vielle carte AMD avec seulement 8 Go de VRAM : je n'ai rien eu à configurer, il a détecter ma carte tout seul et utilisé le containeur podman adapté. Cela propose par défaut une interface terminal, web ou par API.
# Une alternative : RamaLama
Posté par rahan . En réponse au journal Auto-héberger ses IA. Évalué à 7 (+6/-0).
Merci pour ce tour d'horizon. De mon coté, j'utilise RamaLama. Ça ressemble à ollama mais en utilisant des containeurs podman. C'est open-source (je crois) et soutenu par Red Hat. Il s'installe facilement grâce à
pipdans unvenvpython. Il utilise parfaitement ma vielle carte AMD avec seulement 8 Go de VRAM : je n'ai rien eu à configurer, il a détecter ma carte tout seul et utilisé le containeur podman adapté. Cela propose par défaut une interface terminal, web ou par API.