Depuis quelques années, c'est le fait d'améliorer la parallélisation qui permet de continuer à monter en performance.
Qui peut se faire au niveau de la tâche elle même ou du job ;)
Le réponse qu'on t'a faite était très juste. Si par nature tu as un parallélisme au niveau du job et que tu cherches à maximiser la bande passante, cas que tu décrivais initialement, il ne faut pas aller chercher les emmerdes à le faire au niveau de la tâche. Tu fais de l' embarrassingly parallel. Si ton scheduler tient pas 50000 tâches, change le, fixe le ou fait une pauvre glue producteur-consommateur autour. C'est la bonne solution. Pas de complexifier le métier, introduire des bugs et se taper un speedup sous-linéaire alors qu'il pourrait l'être.
Cela dit, comme souvent, on ne peut pas te contredire car tu passes du coq à l'âne: De "J'ai 50000 images indépendantes que j'ai pris avec mon gros kiki et je veux minimiser le temps de traitement total" à "J'ai une tâche qui demande du parallélisme et je veux du temps réel".
[^] # Re: Deux questions
Posté par ckyl . En réponse à la dépêche Traitement d'image : Sortie de G'MIC 1.5.5.1. Évalué à 10.
Qui peut se faire au niveau de la tâche elle même ou du job ;)
Le réponse qu'on t'a faite était très juste. Si par nature tu as un parallélisme au niveau du job et que tu cherches à maximiser la bande passante, cas que tu décrivais initialement, il ne faut pas aller chercher les emmerdes à le faire au niveau de la tâche. Tu fais de l' embarrassingly parallel. Si ton scheduler tient pas 50000 tâches, change le, fixe le ou fait une pauvre glue producteur-consommateur autour. C'est la bonne solution. Pas de complexifier le métier, introduire des bugs et se taper un speedup sous-linéaire alors qu'il pourrait l'être.
Cela dit, comme souvent, on ne peut pas te contredire car tu passes du coq à l'âne: De "J'ai 50000 images indépendantes que j'ai pris avec mon gros kiki et je veux minimiser le temps de traitement total" à "J'ai une tâche qui demande du parallélisme et je veux du temps réel".