Posté par Duncan Idaho .
En réponse au journal Analyse de texte.
Évalué à 3.
Dernière modification le 15 décembre 2015 à 04:51.
Pourquoi ne pas stocker l'information en memoire (et ne la mettre dans la base de donnee qu'a la fin). J'imagine effectivement que le goulet doit se situer dans la mise a jour de la base de donnee.
A priori, ta structure de donnee comptant les syllabes/mots ne devraient pas augmenter lineairement avec la taille de tes textes (si ma memoire est bonne, la taille doit augmenter en logarithme, distribution de Zipf, toussa). Un bete dict devrait faire l'affaire, mais python a des structures plus subtiles pour compter je crois.
Ca devrait etre assez simple a tester (et tu devrais pouvoir chronometrer le temps passer sur la mise a jour de ta table egalement—meme juste en utilisant time.time()).
[edit: vas y efface, c'est ce que tu fais deja j'ai mal lu ton code]
# En memoire
Posté par Duncan Idaho . En réponse au journal Analyse de texte. Évalué à 3. Dernière modification le 15 décembre 2015 à 04:51.
Pourquoi ne pas stocker l'information en memoire (et ne la mettre dans la base de donnee qu'a la fin). J'imagine effectivement que le goulet doit se situer dans la mise a jour de la base de donnee.
A priori, ta structure de donnee comptant les syllabes/mots ne devraient pas augmenter lineairement avec la taille de tes textes (si ma memoire est bonne, la taille doit augmenter en logarithme, distribution de Zipf, toussa). Un bete
dictdevrait faire l'affaire, mais python a des structures plus subtiles pour compter je crois.Ca devrait etre assez simple a tester (et tu devrais pouvoir chronometrer le temps passer sur la mise a jour de ta table egalement—meme juste en utilisant
time.time()).[edit: vas y efface, c'est ce que tu fais deja j'ai mal lu ton code]