La base sur laquelle je travaille est en majeure partie reconstruite chaque nuit par des fichiers externes. C'est la somme de travail à effectuer sur chaque enregistrement qui me faisait un peu peur. Pour le moment, tout avait été fait par un prédesseur sous Sql Server (procédures stockées) qui gère ça bien, mais l'évolution de la plateforme qui nous pousse à se tyourner vers Php + Mysql.
Pour chaque enregistrement de chaque fichier, il faut successivement :
extraire, comparer et sauvegarder les modifications des données, dézipper un fichier lié, y récupérer 5 photos (parfois de plusieurs Mo chacune), en faire différentes mignatures, coller tout ça dans la base, et passer au suivant en repérant les doublons et les incohérences.
Quand on sait que ces étapes vont à terme être répétées plusieurs dizaines de milliers de fois par nuit, il y a de quoi se mettre sérieusement à réfléchir avant de se lancer à corps perdu dans le code.
Je crois que je vais continuer à faire les traitements en Php5 comme auparavant. Je vais juste m'essayer aux précédures stockées Mysql5 qui peuvent me faire gagner du temps sur les étapes de contrôle.
Pour le reste, je vais commencer des tests de performance, et envisager l'achat de serveurs suplémentaires si nécessaire.
Je pense juste utiliser l'idée de Cron de Gérald qui a l'air pratique, ou utiliser un batch si ça facilite la gestion des alertes en cas de problème.
# Ok, merci à tous
Posté par El_Riiico . En réponse au message Cron Apache, gros traitements Php et stabilité. Évalué à 2.
Pour chaque enregistrement de chaque fichier, il faut successivement :
extraire, comparer et sauvegarder les modifications des données, dézipper un fichier lié, y récupérer 5 photos (parfois de plusieurs Mo chacune), en faire différentes mignatures, coller tout ça dans la base, et passer au suivant en repérant les doublons et les incohérences.
Quand on sait que ces étapes vont à terme être répétées plusieurs dizaines de milliers de fois par nuit, il y a de quoi se mettre sérieusement à réfléchir avant de se lancer à corps perdu dans le code.
Je crois que je vais continuer à faire les traitements en Php5 comme auparavant. Je vais juste m'essayer aux précédures stockées Mysql5 qui peuvent me faire gagner du temps sur les étapes de contrôle.
Pour le reste, je vais commencer des tests de performance, et envisager l'achat de serveurs suplémentaires si nécessaire.
Je pense juste utiliser l'idée de Cron de Gérald qui a l'air pratique, ou utiliser un batch si ça facilite la gestion des alertes en cas de problème.
Merci pour vos réponses.