Pour des tâches longues et gourmandes, tu as parfaitement raison. Nous avons cherché une seule solution pour l'ensemble. Au risque qu'elle ne soit parfaite pour personne.
Tu as une partie métier spécifique mais tous les problèmes d'infra autours sont assez courants. En partant de 0 tu vas au final te prendre dans la face tout les problèmes du monde réel qu'ont les job scheduler et calcul distribué:
- Fork et surveillance des processus
- IPC
- Gestion du réseau
- Tolérance au panne, restart
- Haute dispo
Et ca, c'est juste un travail monstrueux. À partir de 0, je regarderais si il est pas possible de réutiliser un truc comme Hadoop YARN ou autre pour se concentrer sur le métier plutôt que de partir sur une version très simple qui va fatalement se retrouver à tout réimplémenter.
[^] # Re: de la pertinence d'une JVM permanente pour y exécuter les tâches longues et gourmandes
Posté par ckyl . En réponse à la dépêche JQM, un serveur de batchs asynchrones en Java. Évalué à 3.
Vous avez regarderzsur qu'elle brique d'infra vous pourriez greffer votre truc ?
Tu as une partie métier spécifique mais tous les problèmes d'infra autours sont assez courants. En partant de 0 tu vas au final te prendre dans la face tout les problèmes du monde réel qu'ont les job scheduler et calcul distribué:
- Fork et surveillance des processus
- IPC
- Gestion du réseau
- Tolérance au panne, restart
- Haute dispo
Et ca, c'est juste un travail monstrueux. À partir de 0, je regarderais si il est pas possible de réutiliser un truc comme Hadoop YARN ou autre pour se concentrer sur le métier plutôt que de partir sur une version très simple qui va fatalement se retrouver à tout réimplémenter.