Bonjour,
Merci pour cet article très intéressant.
Il y a une fonctionnalité de llamacpp que je trouve très intéressante, qui est de permettre de faire de l'inférence sur plusieurs pc à la fois. On peut donc utiliser les cartes graphiques qui se trouvent dans plusieurs pc.
Du coup, on peut se permettre d'utiliser son pc gaming qui a une carte graphique nvidia avec 12 Go de vram par exemple en plus de son serveur qui a une autre carte graphique nvidia avec 12 Go de vram et llamacpp pourra faire tourner des modèles de 24Go de vram.
Ca permet de faire des économies en achat de carte mère spéciale ou alors d'aller plus loin avec 2 pc pro :)
Par contre, je ne sais pas si llamacpp permet de se connecter à plus de 1 pc distant pour utiliser sa carte graphique.
# Mode RPC de llamacpp
Posté par wataru . En réponse au journal Auto-héberger ses IA. Évalué à 3 (+3/-0).
Bonjour,
Merci pour cet article très intéressant.
Il y a une fonctionnalité de llamacpp que je trouve très intéressante, qui est de permettre de faire de l'inférence sur plusieurs pc à la fois. On peut donc utiliser les cartes graphiques qui se trouvent dans plusieurs pc.
Du coup, on peut se permettre d'utiliser son pc gaming qui a une carte graphique nvidia avec 12 Go de vram par exemple en plus de son serveur qui a une autre carte graphique nvidia avec 12 Go de vram et llamacpp pourra faire tourner des modèles de 24Go de vram.
Ca permet de faire des économies en achat de carte mère spéciale ou alors d'aller plus loin avec 2 pc pro :)
Par contre, je ne sais pas si llamacpp permet de se connecter à plus de 1 pc distant pour utiliser sa carte graphique.