C’est évident que des systèmes dédiés I/O et processing seraient plus efficaces. Mais je peine fortement à entrevoir un moyen d’avoir ça vu les contraintes budgétaires/conso/place :(
Un système données chaudes et froides serait fantastique, je confirme. Le souci, supposons 40k images à traiter. 40k fichiers résultats. à disons 256mo l’image d’entrée, et autant en sortie, ça fait pas loin de 10to en lecture, autant en écriture. Réparti sur 10 machines, ça fait 1to+1to de données chaudes. ça va évincer à tour de bras, on va lire en froid, mettre en chaud, traiter, écrire en chaud, rapido virer en froid et recommencer. Les disques n’auront pas beaucoup plus de repos.
Avec un beau budget, il serait possible d’avoir une solution élégante, là, hélas...je ne peux faire autre chose que de trouver le meilleur compromis possible (avec vos conseils avisés à tous :)).
[^] # Re: Type d'IO, Conso ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
C’est évident que des systèmes dédiés I/O et processing seraient plus efficaces. Mais je peine fortement à entrevoir un moyen d’avoir ça vu les contraintes budgétaires/conso/place :(
Un système données chaudes et froides serait fantastique, je confirme. Le souci, supposons 40k images à traiter. 40k fichiers résultats. à disons 256mo l’image d’entrée, et autant en sortie, ça fait pas loin de 10to en lecture, autant en écriture. Réparti sur 10 machines, ça fait 1to+1to de données chaudes. ça va évincer à tour de bras, on va lire en froid, mettre en chaud, traiter, écrire en chaud, rapido virer en froid et recommencer. Les disques n’auront pas beaucoup plus de repos.
Avec un beau budget, il serait possible d’avoir une solution élégante, là, hélas...je ne peux faire autre chose que de trouver le meilleur compromis possible (avec vos conseils avisés à tous :)).