Malheureusement pour moi, mon matériel ne le supporte pas. Je n'ai donc pas pu le tester.
T'es sûr? Perso je pense que si.
En plus, la documentation est extrêmement sommaire sur ce sujet actuellement. Ceci dit, mes GPU tournent déjà à 100% sans ça, donc perso, je ne pense pas qu'il m'apporterait quelque-chose.
L’intérêt c'est de faire du RDMA pour que l'échange entre les GPUs ne passe pas par le CPU. Ça permet entre-autres d'utiliser l'intégralité de la mémoire de tous les GPUs sur tous les GPUs à une latence acceptable et de réduire la charge sur le bus.
L'iommu c'est plus simple de le désactiver au début
Dommages que ta config soit en PCIe3, tes cartes sont en PCIe4! Et si tu commences à utiliser le P2P tu vas voir que le bus devient un bottleneck rapidement.
# P2P / RDMA
Posté par nextgens (site web personnel) . En réponse au journal Auto-héberger ses IA : Matériel et optimisation de l'inférence. Évalué à 1 (+1/-0).
Plop! Ça fait un bail!
T'es sûr? Perso je pense que si.
L’intérêt c'est de faire du RDMA pour que l'échange entre les GPUs ne passe pas par le CPU. Ça permet entre-autres d'utiliser l'intégralité de la mémoire de tous les GPUs sur tous les GPUs à une latence acceptable et de réduire la charge sur le bus.
L'iommu c'est plus simple de le désactiver au début
Dommages que ta config soit en PCIe3, tes cartes sont en PCIe4! Et si tu commences à utiliser le P2P tu vas voir que le bus devient un bottleneck rapidement.