Oui, à la main c'est du boulot (surtout de l'attente), mais un petit script Python lancé à intervalles réguliers et c'est réglé.
Cela dit, il y a deux problèmes de mon côté.
Premièrement, la consommation: pendant une inférence, la machine monte à environ 550 W (je mesure et je graphe). Pour un usage ponctuel ce n'est pas grave, mais pour des tests en continu, ça finit par coûter cher sur la durée.
Deuxièmement, depuis que j'ai changé mon ordinateur principal, je me suis offert un Ultra Core 7 (Lunar Lake) pour remplacer mon bon vieux Dell qui commençait à montrer des signes de fatigue. Du coup ma machine d'inférence ne me sert plus autant. L'Ultra Core 7 a un GPU, un NPU, et les 32 Go de RAM intégrés à la puce sont partagés.
Il m'arrive de faire tourner de petits modèles dessus si besoin. Résultat, la machine d'inférence je ne l'utilise plus qu'occasionnellement (j'ai même essayé de la vendre, mais elle est trop vieille).
Je peux l'allumer à distance si nécessaire.
Après, j'ai fait ce test parce que je voulais voir ce que valait Gemma 4, que Google a sorti hier. Et surtout parce que c'est férié (Vendredi saint) en Suisse.
[^] # Re: Reproductibilité
Posté par Ecran Plat (site web personnel) . En réponse au journal Comparatif : 6 LLMs locaux face à un exercice Python simple. Évalué à 7.
Oui, à la main c'est du boulot (surtout de l'attente), mais un petit script Python lancé à intervalles réguliers et c'est réglé.
Cela dit, il y a deux problèmes de mon côté.
Premièrement, la consommation: pendant une inférence, la machine monte à environ 550 W (je mesure et je graphe). Pour un usage ponctuel ce n'est pas grave, mais pour des tests en continu, ça finit par coûter cher sur la durée.
Deuxièmement, depuis que j'ai changé mon ordinateur principal, je me suis offert un Ultra Core 7 (Lunar Lake) pour remplacer mon bon vieux Dell qui commençait à montrer des signes de fatigue. Du coup ma machine d'inférence ne me sert plus autant. L'Ultra Core 7 a un GPU, un NPU, et les 32 Go de RAM intégrés à la puce sont partagés.
Il m'arrive de faire tourner de petits modèles dessus si besoin. Résultat, la machine d'inférence je ne l'utilise plus qu'occasionnellement (j'ai même essayé de la vendre, mais elle est trop vieille).
Je peux l'allumer à distance si nécessaire.
Après, j'ai fait ce test parce que je voulais voir ce que valait Gemma 4, que Google a sorti hier. Et surtout parce que c'est férié (Vendredi saint) en Suisse.