Demande à n'importe qui faisant du HPC sur des calculateurs nationaux ou internationaux tu comprendras que les IO sont loin d'être limitant.
Ça c'est faux. Les entrées-sorties SONT limitantes, car de plus en plus de simulations HPC ont l'une ou l'autre de ces caractéristiques:
Elles ont des modèles physiques de plus en plus détaillés (conséquence de la capacité à faire du weak scaling, i.e. à augmenter la part de parallélisme à mesure que tu augmentes la tailles des entrées)
Elles commencent à proposer pas mal de d'options d'interactions, sans nécessairement aller jusqu'au temps réel, et donc de changer certains paramètres au fur et à mesure de l'exécution du programme
Elles proposent des framework de visualisation de plus en plus complexes, qui nécessitent énormément d'informations en sortie → on parle de Pio (peta-octets), voire plus dans certains cas.
J'oublie sans doute d'autres aspects. Dans tous les cas, les I/O, ce n'est pas que dumper des données sur le disque, c'est aussi un problème de contention sur les réseaux spécialisés (Infiniband, Quadrics, etc.). Le memory wall reste un vrai problème, mais le nouveau qui fait bien chier, c'est le power wall/_heat wall_ : l'énergie consommée par les nouveaux calculateurs est bien trop importante, et il faut absolument changer notre façon de faire des supercalculateurs.
J'étais à un workshop il y a 2 ans, qui parlait des modèles d'exécutions/de programmation pour le HPC, ce qui implique aussi entre autres les innovations pour la matériel. Vers la fin de la journée, tout le monde avait parlé. L'une des remarques qui a été faite par deux responsables du département de l'énergie US, c'est « Vous nous avez parlé d'exprimer le parallélisme, de correctement gérer la mémoire, de parfaitement occuper tous les milliers/millions de cœurs d'une machine, et c'est effectivement très important. Pour autant, n'oubliez pas les I/O. »
Le DOE, le DOD, le CEA, etc., ont des processus qui accumulent de plus en plus de données, et les systèmes de fichiers (même Lustre) ne sont pas forcément très très doués pour gérer la quantité de données produites.
[^] # Re: Et MPI ?
Posté par lasher . En réponse au journal Petit tour d’horizon de la haute performance et du parallélisme. Évalué à 5.
Ça c'est faux. Les entrées-sorties SONT limitantes, car de plus en plus de simulations HPC ont l'une ou l'autre de ces caractéristiques:
J'oublie sans doute d'autres aspects. Dans tous les cas, les I/O, ce n'est pas que dumper des données sur le disque, c'est aussi un problème de contention sur les réseaux spécialisés (Infiniband, Quadrics, etc.). Le memory wall reste un vrai problème, mais le nouveau qui fait bien chier, c'est le power wall/_heat wall_ : l'énergie consommée par les nouveaux calculateurs est bien trop importante, et il faut absolument changer notre façon de faire des supercalculateurs.
J'étais à un workshop il y a 2 ans, qui parlait des modèles d'exécutions/de programmation pour le HPC, ce qui implique aussi entre autres les innovations pour la matériel. Vers la fin de la journée, tout le monde avait parlé. L'une des remarques qui a été faite par deux responsables du département de l'énergie US, c'est « Vous nous avez parlé d'exprimer le parallélisme, de correctement gérer la mémoire, de parfaitement occuper tous les milliers/millions de cœurs d'une machine, et c'est effectivement très important. Pour autant, n'oubliez pas les I/O. »
Le DOE, le DOD, le CEA, etc., ont des processus qui accumulent de plus en plus de données, et les systèmes de fichiers (même Lustre) ne sont pas forcément très très doués pour gérer la quantité de données produites.