Merci pour cette présentation très intéressante qui m’a fait découvrir les technologies distribuées gérées par pytorch.
Si j’ai bien compris, RPC est utilisé pour faire discuter entre eux les différents nœuds de calcul : ceux avec les GPUs et ceux avec les CPUs. Pourquoi avoir choisi cette technologie ? Je me demande notamment si le protocole MPI a été envisagé sachant que son implémentation sur les grappes de calcul est souvent très optimisée bas niveau par le fabricant du supercalculateur. À moins que le serveur avec les nœuds CPUs ne soit en dehors de la grappe de calcul ?
# Pourquoi RPC?
Posté par mzf (site web personnel) . En réponse au journal RPCDataloader: chargement et pré-traitement de données distribué pour l'IA. Évalué à 3.
Merci pour cette présentation très intéressante qui m’a fait découvrir les technologies distribuées gérées par pytorch.
Si j’ai bien compris, RPC est utilisé pour faire discuter entre eux les différents nœuds de calcul : ceux avec les GPUs et ceux avec les CPUs. Pourquoi avoir choisi cette technologie ? Je me demande notamment si le protocole MPI a été envisagé sachant que son implémentation sur les grappes de calcul est souvent très optimisée bas niveau par le fabricant du supercalculateur. À moins que le serveur avec les nœuds CPUs ne soit en dehors de la grappe de calcul ?