Perso j'ai une AMD (RX7900 xtx) 24Go de ram acheté avant la folie, ça tourne bien, et sur mon PC portable avant que la télé ne me crame la CG, j'avais aussi une CG qui fonctionnait bien.
L'avantage des AMD c'est que ça tourne sans devoir y foutre un blob propriétaire dont on ne sais pas combien de temps il sera maintenu.
A chaque fois j'utilise koboldcpp (windows ou linux) pour faire tourner les modèles. Sur le git de koboldcpp y'a la version cuda et la version sans cuda, la seconde est bien plus légère en Mo :D
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: Merci
Posté par fearan . En réponse au journal Auto-héberger ses IA. Évalué à 7 (+4/-0).
Perso j'ai une AMD (RX7900 xtx) 24Go de ram acheté avant la folie, ça tourne bien, et sur mon PC portable avant que la télé ne me crame la CG, j'avais aussi une CG qui fonctionnait bien.
L'avantage des AMD c'est que ça tourne sans devoir y foutre un blob propriétaire dont on ne sais pas combien de temps il sera maintenu.
A chaque fois j'utilise koboldcpp (windows ou linux) pour faire tourner les modèles. Sur le git de koboldcpp y'a la version cuda et la version sans cuda, la seconde est bien plus légère en Mo :D
Il ne faut pas décorner les boeufs avant d'avoir semé le vent