Merci, ça me donne d'autres pistes pour mes expérimentations. Mon ordi va clairement limiter mes tests (je n'ai "que" 16 Go de Ram, le reste est à l'allant, ce qui suffit par ailleurs donc je ne vais pas upgrader pour le moment), mais c'est assez pour comprendre peu à peu comment tous ces trucs s'articulent. Vu les retours ici, faut que je teste llama.cpp :)
Avec l'enshittification des recherches web, je n'ai pas vraiment trouvé de bons tutos pour mettre ce genre de truc en place, je tâtonne pas mal. Typiquement, quel modèle tester, avec quel outil... Comme souvent quand on est néophyte, la difficulté est d'acquérir suffisament de vocabulaire et de référence pour savoir ensuite quoi creuser ; lire la doc, ok, mais laquelle ? Là je commence à être au niveau où "Q4_K_M" et "le nombre de tokens" ont un peu de sens pour moi mais il y a encore du taf avant que je comprenne les détails. Si on trouve des modèles à 7B voir 1.5B c'est que ça doit avoir une utilité, par exemple, mais jusque là mes tests avec ces modèles me donnent l'impression que n'importe quel Eliza est plus efficace (et moins compliqué à faire tourner).
Voir vos retours avec des 30B qui sont utilisables, c'est plus encourageant. Et savoir sur quelles machines ça tourne... ok, ce n'est pas pour moi pour le moment mais j'ai quelqu'un dans mon entourage qui a ce genre de machine, je lui emprunterais à l'occasion :D
[^] # Re: LocalLLaMA
Posté par Zatalyz (site web personnel) . En réponse au message Quels outils utilisez-vous pour générer du code rapidement grâce à l’IA ?. Évalué à 2.
Merci, ça me donne d'autres pistes pour mes expérimentations. Mon ordi va clairement limiter mes tests (je n'ai "que" 16 Go de Ram, le reste est à l'allant, ce qui suffit par ailleurs donc je ne vais pas upgrader pour le moment), mais c'est assez pour comprendre peu à peu comment tous ces trucs s'articulent. Vu les retours ici, faut que je teste llama.cpp :)
Avec l'enshittification des recherches web, je n'ai pas vraiment trouvé de bons tutos pour mettre ce genre de truc en place, je tâtonne pas mal. Typiquement, quel modèle tester, avec quel outil... Comme souvent quand on est néophyte, la difficulté est d'acquérir suffisament de vocabulaire et de référence pour savoir ensuite quoi creuser ; lire la doc, ok, mais laquelle ? Là je commence à être au niveau où "Q4_K_M" et "le nombre de tokens" ont un peu de sens pour moi mais il y a encore du taf avant que je comprenne les détails. Si on trouve des modèles à 7B voir 1.5B c'est que ça doit avoir une utilité, par exemple, mais jusque là mes tests avec ces modèles me donnent l'impression que n'importe quel Eliza est plus efficace (et moins compliqué à faire tourner).
Voir vos retours avec des 30B qui sont utilisables, c'est plus encourageant. Et savoir sur quelles machines ça tourne... ok, ce n'est pas pour moi pour le moment mais j'ai quelqu'un dans mon entourage qui a ce genre de machine, je lui emprunterais à l'occasion :D