RX6700 12Gb ou RX6800 16Gb, mais tu vas perdre en vitesse de prefill par rapport à une 3060 sous Cuda. Seule une RX 7800 XT 16 Go fait jeu égal en prefill avec Rocm.
Si le contexte de tes cas d'usage reste modéré, ça ne sera pas trop pénalisant. D'autant qu'AMD met le paquet sur Rocm pour ne pas complètement rater le train de l'IA, et se retrouver coincé sur le marché misérable des Gamers, alors l'espoir est permis s'il y arrivent avant que ta carte passe en legacy.
Si tu est rebuté par la complexité de la configuration du setup, économise 100€ sur la carte et offre toi un mois de Claude Max. Il peut le faire à ta place sous ta supervision ou t'expliquer ce qu'il faut faire et te laisser mettre les mains dans le cambouis, et te faire une doc et un runbook pour l'exploitation et les mises à jour.
Tuteur ou Assistant.
En mettant opus4.8 au travail, opus4.6 à la doc et la sélection auto pour claude code, tu économises les tokens pour rester dans le forfait et il a un niveau époustouflant sur le sujet de l'inférence locale.
[^] # Re: Ça vous sert à quoi au quotidien ?
Posté par mmarc67 . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à -3 (+1/-1).
Les informations sont de Fable.
RX6700 12Gb ou RX6800 16Gb, mais tu vas perdre en vitesse de prefill par rapport à une 3060 sous Cuda. Seule une RX 7800 XT 16 Go fait jeu égal en prefill avec Rocm.
Si le contexte de tes cas d'usage reste modéré, ça ne sera pas trop pénalisant. D'autant qu'AMD met le paquet sur Rocm pour ne pas complètement rater le train de l'IA, et se retrouver coincé sur le marché misérable des Gamers, alors l'espoir est permis s'il y arrivent avant que ta carte passe en legacy.
Si tu est rebuté par la complexité de la configuration du setup, économise 100€ sur la carte et offre toi un mois de Claude Max. Il peut le faire à ta place sous ta supervision ou t'expliquer ce qu'il faut faire et te laisser mettre les mains dans le cambouis, et te faire une doc et un runbook pour l'exploitation et les mises à jour.
Tuteur ou Assistant.
En mettant opus4.8 au travail, opus4.6 à la doc et la sélection auto pour claude code, tu économises les tokens pour rester dans le forfait et il a un niveau époustouflant sur le sujet de l'inférence locale.
Je n'ai pas d'actions chez Anthropic.