Posté par octane .
En réponse au message Carte IA.
Évalué à 3.
La réponse est en deux points, tout d'abord le fait de faire tourner des IA sur ton PC bureau, et sur l'entraînement de modèles.
Je m'amuse avec des LLM locaux depuis quelques temps, sans CG. J'ai juste pris mon CPU, ollama fonctionne simplement avec. Le facteur limitant, c'est la RAM. Tu regardes le nombre de paramètres de ton modèle (genre 13B) et c'est la quantité en Go de RAM dont tu as besoin (ce calcul est simpliste et faux, mais c'est une approximation facile à faire et suffisante).
Ca va ramer (ne t'attends pas à aller aussi vite que sur les sites web), mais c'est suffisant pour tester. J'ai des résultats intéressants pour m'aider à coder et sur la génération de texte. Le problème c'est que les "petits" modèles (genre 7B, 13B, 24B) sont loin de la qualité des chatGPT/mistralAI que tu trouves gratuits, donc l'avantage d'un LLM local reste mitigé.
Pour l'entraînement, je ne sais pas duquel tu parles: soit de générer ton modèle, et apparemment c'est hors de portée du commun des mortels (genre faut des fermes entières de PC+CG), soit il s'agit d'extension du contexte.
Par exemple, tu donnes à ton LLM local un corpus de pdf sur ton disque et tu lui poses des questions dessus et ça, c'est possible localement en CPU only (mais ça rame + que de la question/réponse de base). Je suis justement en train d'affiner des paramètres et des méthodes de contexte pour éviter d'une part les hallucinations et d'autre part les réponse hors-contexte (genre il n'y a pas la réponse dans les pdfs, le LLM doit me dire qu'il ne sait pas au lieu d'essayer d'inventer un truc).
# et avec le CPU?
Posté par octane . En réponse au message Carte IA. Évalué à 3.
La réponse est en deux points, tout d'abord le fait de faire tourner des IA sur ton PC bureau, et sur l'entraînement de modèles.
Je m'amuse avec des LLM locaux depuis quelques temps, sans CG. J'ai juste pris mon CPU, ollama fonctionne simplement avec. Le facteur limitant, c'est la RAM. Tu regardes le nombre de paramètres de ton modèle (genre 13B) et c'est la quantité en Go de RAM dont tu as besoin (ce calcul est simpliste et faux, mais c'est une approximation facile à faire et suffisante).
Ca va ramer (ne t'attends pas à aller aussi vite que sur les sites web), mais c'est suffisant pour tester. J'ai des résultats intéressants pour m'aider à coder et sur la génération de texte. Le problème c'est que les "petits" modèles (genre 7B, 13B, 24B) sont loin de la qualité des chatGPT/mistralAI que tu trouves gratuits, donc l'avantage d'un LLM local reste mitigé.
Pour l'entraînement, je ne sais pas duquel tu parles: soit de générer ton modèle, et apparemment c'est hors de portée du commun des mortels (genre faut des fermes entières de PC+CG), soit il s'agit d'extension du contexte.
Par exemple, tu donnes à ton LLM local un corpus de pdf sur ton disque et tu lui poses des questions dessus et ça, c'est possible localement en CPU only (mais ça rame + que de la question/réponse de base). Je suis justement en train d'affiner des paramètres et des méthodes de contexte pour éviter d'une part les hallucinations et d'autre part les réponse hors-contexte (genre il n'y a pas la réponse dans les pdfs, le LLM doit me dire qu'il ne sait pas au lieu d'essayer d'inventer un truc).