Perso j'ai fait des tests avec 2 mac mini m4 16Gb branché sur le thunderbolt 4 en pensant que ça aiderait et les perfs sont pas top.
Il faut une jonction thunderbolt 5 pour que ça fonctionne bien et c'est que sur les m4 pro...
J'avais un peu de foi dans ces techniques, mais je crois que c'est plus de la bidouille qu'autre chose, ou alors c'est bien utile pour de l'inférence à plusieurs, mais pour un seul utilisateur je pense que c'est limité.
[^] # Re: Mode RPC de llamacpp
Posté par Andréas Livet . En réponse au journal Auto-héberger ses IA. Évalué à 4 (+2/-0).
Perso j'ai fait des tests avec 2 mac mini m4 16Gb branché sur le thunderbolt 4 en pensant que ça aiderait et les perfs sont pas top.
Il faut une jonction thunderbolt 5 pour que ça fonctionne bien et c'est que sur les m4 pro...
J'avais un peu de foi dans ces techniques, mais je crois que c'est plus de la bidouille qu'autre chose, ou alors c'est bien utile pour de l'inférence à plusieurs, mais pour un seul utilisateur je pense que c'est limité.