Typiquement, on a n images à traiter, faisant n ou n×ばつx résultats. ou encore (moins courant), lecture de n images et en sortie une seule. Chaque code est générallement écrit pour traiter une image (sans compter qu’on hérite parfois/souvent de codes existants et qu’il est inenvisageable de les réecrire).
Actuellement, les nœuds récupèrent l’image à traiter (le chef d’orchestre c’est HTCondor), la colle en local, la traite, renvoient sur le fs réparti. Il arrive aussi qu’on traite directement sur le fs réparti.
Le déploiement du FS réparti n’est pas un gros problème. Jette un œil à moosefs si tu as le temps, c’est d’une simplicité effarante. L’avantage étant aussi la disponibilité des données. On supporte le vautrage de deux bécanes simultanément sans être bloqué, ce qui n’est pas le cas avec une baie (ou deux).
Mais moi aussi, je me demande ce qui est le plus pertinent :) . L’archi actuelle a grossi machine par machine, mfs était un bonheur sans nom à ce niveau. là, j’ai l’occasion d’avoir un truc tout propre alors j’essaie d’en profiter.
[^] # Re: Type d'IO, Conso ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 2.
Typiquement, on a n images à traiter, faisant n ou n×ばつx résultats. ou encore (moins courant), lecture de n images et en sortie une seule. Chaque code est générallement écrit pour traiter une image (sans compter qu’on hérite parfois/souvent de codes existants et qu’il est inenvisageable de les réecrire).
Actuellement, les nœuds récupèrent l’image à traiter (le chef d’orchestre c’est HTCondor), la colle en local, la traite, renvoient sur le fs réparti. Il arrive aussi qu’on traite directement sur le fs réparti.
Le déploiement du FS réparti n’est pas un gros problème. Jette un œil à moosefs si tu as le temps, c’est d’une simplicité effarante. L’avantage étant aussi la disponibilité des données. On supporte le vautrage de deux bécanes simultanément sans être bloqué, ce qui n’est pas le cas avec une baie (ou deux).
Mais moi aussi, je me demande ce qui est le plus pertinent :) . L’archi actuelle a grossi machine par machine, mfs était un bonheur sans nom à ce niveau. là, j’ai l’occasion d’avoir un truc tout propre alors j’essaie d’en profiter.