Par curiosité, quelle config matérielle vous avez pour arriver à faire tourner ces trucs ?
Alors là je suis un peu esplanté... J'avais jamais trop joué avec l'IA en local et du coup je suis la conversation.
J'avais entendu dire que ollama c'est top pour essayer en local.
J'installe ollama, je trouve la commande à taper pour faire tourner le modèle en question. Je le fais tourner sur un laptop certes bien couillu (Core i7 Ultra, 92Go de RAM), mais sans carte graphique (j'ai un warning de ollama comme quoi je vais tourner sur le CPU) et voici le résultat : https://asciinema.org/a/EcUlDaMkBmnEH1k6R3xTArYeT
C'est clairement utilisable !
et tout ça en freezant l'ordi
De ce que je vois ollama va charger en RAM l'intégralité du modèle, 20Go dans le cas de ce modèle. Donc faut de la RAM, je pense que dans tes essais tu devais swapper.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: LocalLLaMA
Posté par gUI (Mastodon) . En réponse au message Quels outils utilisez-vous pour générer du code rapidement grâce à l’IA ?. Évalué à 6. Dernière modification le 16 août 2025 à 16:55.
Alors là je suis un peu esplanté... J'avais jamais trop joué avec l'IA en local et du coup je suis la conversation.
J'avais entendu dire que ollama c'est top pour essayer en local.
J'installe ollama, je trouve la commande à taper pour faire tourner le modèle en question. Je le fais tourner sur un laptop certes bien couillu (Core i7 Ultra, 92Go de RAM), mais sans carte graphique (j'ai un warning de ollama comme quoi je vais tourner sur le CPU) et voici le résultat : https://asciinema.org/a/EcUlDaMkBmnEH1k6R3xTArYeT
C'est clairement utilisable !
De ce que je vois
ollamava charger en RAM l'intégralité du modèle, 20Go dans le cas de ce modèle. Donc faut de la RAM, je pense que dans tes essais tu devais swapper.En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.