• # Plusieurs cartes en SLI ?

    Posté par . En réponse au journal Auto-héberger ses IA. Évalué à 3 (+1/-0).

    Merci pour ce journal, franchement je me tâtais à faire un retour de ce genre en journal et en l'espace de 2 jours on a eu 2 journaux sur ce sujet donc pas besoin d'en faire un troisième.

    Je me questionne sur les 3 cartes graphiques que tu as sur ta machine. J'imagine que c'est du SLI ? De ce que j'ai compris le gain de perf est pas si important que ça, certes on a plus de VRAM, mais la machine n'arrive pas à faire les calculs plus rapidement, voir peut-être l'inverse non ?

    De plus, ça fait 3 cartes graphiques à alimenter donc ça doit consommer un max non ?

    En tout cas c'est clairement pas évident d'auto héberger des "gros" LLM aujourd'hui. Peut-être que ça ne le sera jamais ? Vu les perspectives de production de RAM etc sur les années à venir, on risque d'attendre un peu pour avoir des machines avec plein de VRAM ou de mémoire partagée rapide pour pas cher...

    J'ai parfois l'impression de perdre mon temps (et mon argent) avec toutes ces expérimentations...