URL: https://linuxfr.org/users/aboulle/journaux/ollama-et-le-gpu
Title: ollama et le GPU
Authors: aboulle
Date: 2024年04月16日T17:06:13+02:00
License: CC By-SA
Tags: intelligence_artificielle, ollama, grands_modèles_de_langage, gpu et systemd
Score: 5
Bonjour à tous,
lors d'un [précédent journal](https://linuxfr.org/users/aboulle/journaux/introduction-pratique-aux-grands-modeles-de-langage-llm) concernant les LLM, [poulpatine m'a fait remarquer](https://linuxfr.org/nodes/135032/comments/1952687) que je faisais erreur en affirmant que ollama ne fonctionne pas avec les GPU sous linux.
En effet j'avais tort. Enfin, en partie; je m'explique:
- en passant par l'[installation standard de ollama](https://github.com/ollama/ollama/blob/main/docs/linux.md), ollama tourne via un service systemd. Dans ce cas, le GPU n'est pas utilisé.
- par contre, en lançant un serveur ollama via une commande `ollama serve`, l'inférence utilise parfaitement le GPU.
Est-ce que l'un d'entre vous aurait une idée ?
PS pour la modération: si ce journal va mieux dans le forum n'hésitez pas à le déplacer.
</div><div class="naked_ctrl">
<form action="/index.cgi/contrast" method="get" name="gate">
<p><a href="http://altstyle.alfasado.net">AltStyle</a> によって変換されたページ <a href="httpS://linuxfr.org/users/aboulle/journaux/ollama-et-le-gpu.md">(-&gt;オリジナル)</a>
/ <label>アドレス: <input type="text" name="naked_post_url" value="httpS://linuxfr.org/users/aboulle/journaux/ollama-et-le-gpu.md" size="22" /></label> <label>モード: <select name="naked_post_mode">
<option value="default">デフォルト</option>
<option value="speech">音声ブラウザ</option>
<option value="ruby">ルビ付き</option>
<option value="contrast" selected="selected">配色反転</option>
<option value="larger-text">文字拡大</option>
<option value="mobile">モバイル</option>
</select>
<input type="submit" value="表示" />
</p>
</form>
</div>