On utilise déjà un FS distribué (moosefs actuellement, qui fonctionne très bien (niveau stabilité), à base de réplicas (ce qui est coûteux en place), qui a le défaut de ne pas être le plus rapide du monde, et qui vient de devenir proprio).
Un hadoop/hdfs (ou quantcast fs ou je ne sais quel autre backend il existe) serait certainement très bon pour les perfs. Bouger les process plutôt que les données, c’est idéal. Aux dernières nouvelles (qui remontent un peu, j’avoue), l’accès posix aux données n’était pas dispo/stable (ou libre, je ne sais plus). Et on ne peut définitivement pas modifier les codes existants (beaucoup trop lourd), ni imposer aux clients la plate-forme (c’est plutôt l’inverse...d’où le fait qu’on soit rhel compatible et posix niveau accès fichiers).
C’est pour ça que je suis arrivé à la même conclusion que toi. c’est pas le plus efficace, mais c’est le meilleur compromis (je pense).
J’ai eu un devis micro-cloud, pour 12 machines en 3U, 1620W d’alim, 96 cœurs opteron 3380, 4go/cœur, 24 disques 6to, ×ばつ1gbps par machine, j’en suis à 16.5k€ HT.
points forts: que 1620W, pas mal de cœurs même si ce ne sont pas des bombes, 86To utiles avec un reed-solomon ou une mojette. un prix que je trouve plutôt bas (si je peux mettre le moins possible, c’est mieux).
point faible: que deux alims redondantes, que ×ばつ1gbps. ×ばつ1 eût été idéal (2 pour le fs, 2 pour htcondor encore que ça me semble largement overkill), mais les cartes ×ばつ1gbps n’existent pas en microLP, et le 10g fait trop monter le budget.
Je n’avais pas pensé à la multiplication des 1U à pas cher, merci pour la piste !
En prenant des (10) pizza box 1U, low-cost au possible, une alim par box, ×ばつ4 cœurs xeon E3-1220v3, 4go/cœur, ×ばつ2 disques 6to, ×ばつ1gbps par machine, j’en suis à 15k€ HT.
points forts: ×ばつ1gbps, le prix. 10 alims (mais sans redondance).
points faibles: 2kW (avec les 800 existants que je vais réduire à 500 incompressibles à terme, difficile de négo. 1620+500 c’est plus facile pour « rentrer » dans la case 2kW max). « Que » 72To utiles.
Si je passe à 1600W, soit 8 bécanes, je n’ai plus que 32 cœurs et 58to utiles. Par contre je suis persuadé qu’ils vont en faire une jaunisse (mais on peut pas bosser dans ces conditions, c’est le retour à la préhistoire, t’as plus qu’à m’offrir un boulier, autant devenir fleuriste (no offense) etc etc), même si ça ne coûte que 12k€.
(je sais, je sais, on compare pas des cœurs d’opteron et de xeon, mais bref).
Pour la conso vis à vis du bailleur...je vais tenter ma chance sans grand espoir.
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
On utilise déjà un FS distribué (moosefs actuellement, qui fonctionne très bien (niveau stabilité), à base de réplicas (ce qui est coûteux en place), qui a le défaut de ne pas être le plus rapide du monde, et qui vient de devenir proprio).
Un hadoop/hdfs (ou quantcast fs ou je ne sais quel autre backend il existe) serait certainement très bon pour les perfs. Bouger les process plutôt que les données, c’est idéal. Aux dernières nouvelles (qui remontent un peu, j’avoue), l’accès posix aux données n’était pas dispo/stable (ou libre, je ne sais plus). Et on ne peut définitivement pas modifier les codes existants (beaucoup trop lourd), ni imposer aux clients la plate-forme (c’est plutôt l’inverse...d’où le fait qu’on soit rhel compatible et posix niveau accès fichiers).
C’est pour ça que je suis arrivé à la même conclusion que toi. c’est pas le plus efficace, mais c’est le meilleur compromis (je pense).
J’ai eu un devis micro-cloud, pour 12 machines en 3U, 1620W d’alim, 96 cœurs opteron 3380, 4go/cœur, 24 disques 6to, ×ばつ1gbps par machine, j’en suis à 16.5k€ HT.
points forts: que 1620W, pas mal de cœurs même si ce ne sont pas des bombes, 86To utiles avec un reed-solomon ou une mojette. un prix que je trouve plutôt bas (si je peux mettre le moins possible, c’est mieux).
point faible: que deux alims redondantes, que ×ばつ1gbps. ×ばつ1 eût été idéal (2 pour le fs, 2 pour htcondor encore que ça me semble largement overkill), mais les cartes ×ばつ1gbps n’existent pas en microLP, et le 10g fait trop monter le budget.
Je n’avais pas pensé à la multiplication des 1U à pas cher, merci pour la piste !
En prenant des (10) pizza box 1U, low-cost au possible, une alim par box, ×ばつ4 cœurs xeon E3-1220v3, 4go/cœur, ×ばつ2 disques 6to, ×ばつ1gbps par machine, j’en suis à 15k€ HT.
points forts: ×ばつ1gbps, le prix. 10 alims (mais sans redondance).
points faibles: 2kW (avec les 800 existants que je vais réduire à 500 incompressibles à terme, difficile de négo. 1620+500 c’est plus facile pour « rentrer » dans la case 2kW max). « Que » 72To utiles.
Si je passe à 1600W, soit 8 bécanes, je n’ai plus que 32 cœurs et 58to utiles. Par contre je suis persuadé qu’ils vont en faire une jaunisse (mais on peut pas bosser dans ces conditions, c’est le retour à la préhistoire, t’as plus qu’à m’offrir un boulier, autant devenir fleuriste (no offense) etc etc), même si ça ne coûte que 12k€.
(je sais, je sais, on compare pas des cœurs d’opteron et de xeon, mais bref).
Pour la conso vis à vis du bailleur...je vais tenter ma chance sans grand espoir.