Franchement je rejette de toute mon âme les LLM et tout ce qui en découle, mais comme le dev c'est mon boulot j'ai quand même essayé de tâter le terrain en local, pour moi c'est à peu près la seule façon de m'y mettre, mais c'est au dessus de mes moyens.
En fait j'ai aucune machine chez moi qui a un vrai GPU et donc zéro VRAM réellement disponible, alors en voyant qu'avec Llama il y avait des modèles de faibles contexte capables de tourner seulement avec un CPU je m'y suis essayé.
L'installation a pas été un soucis mais au final l'opération a échoué pour une raison obscure et du coup j'ai tout viré par impatience sans vraiment creuser.
Quoiqu'il en soit en lisant les commentaires ici je me dis qu'utiliser du LLM en local ça tient un peu de l'entrisme puisque c'est voué à un usage assez restreint par rapport à ce qui inonde le secteur, alors au mieux on va commencer dessus et puis passer rapidement aux plateformes en lignes.
# De l'entrisme ?
Posté par David Thenon (site web personnel) . En réponse au journal Auto-héberger ses IA. Évalué à 2 (+3/-1).
Franchement je rejette de toute mon âme les LLM et tout ce qui en découle, mais comme le dev c'est mon boulot j'ai quand même essayé de tâter le terrain en local, pour moi c'est à peu près la seule façon de m'y mettre, mais c'est au dessus de mes moyens.
En fait j'ai aucune machine chez moi qui a un vrai GPU et donc zéro VRAM réellement disponible, alors en voyant qu'avec Llama il y avait des modèles de faibles contexte capables de tourner seulement avec un CPU je m'y suis essayé.
L'installation a pas été un soucis mais au final l'opération a échoué pour une raison obscure et du coup j'ai tout viré par impatience sans vraiment creuser.
Quoiqu'il en soit en lisant les commentaires ici je me dis qu'utiliser du LLM en local ça tient un peu de l'entrisme puisque c'est voué à un usage assez restreint par rapport à ce qui inonde le secteur, alors au mieux on va commencer dessus et puis passer rapidement aux plateformes en lignes.