C'est du python de préférences.
Le but du frequencethon-wikipedia :
- récupérer la sauvegarde de nuit dans la langue que l'on veut http://download.wikimedia.org/(...)
- on decompresse
- on vire presque tout (grammaire wiki, etc.) à coup d'expression reguliere avec gestion de l'unicode
- on compte les occurences de chaque mot (gestion de parcours, etc. dans un fichier de 200Mo pour fr.wikipedia.org)
- possibilites de filtres par rapport à un dico existant (je veux les frequences des mots qui sont dans ce dico ET dans wikipedia, je veux les mots qui sont dans wikipedia mais pas dans tel ou tel dico, etc.)
- integration dans une base SQLite
Donc un peu de beaucoup de chose :)
Le temps que tu fasses un petit tour de toutes ces choses (regexp, wiki, python, SQL, etc.) y a de quoi s'occuper 3 mois si tu n'y connais rien
# PyLisiere
Posté par rangzen . En réponse au journal Recherche projet. Évalué à 4.
http://gna.org/projects/pylisiere/(...)
C'est du python de préférences.
Le but du frequencethon-wikipedia :
- récupérer la sauvegarde de nuit dans la langue que l'on veut http://download.wikimedia.org/(...)
- on decompresse
- on vire presque tout (grammaire wiki, etc.) à coup d'expression reguliere avec gestion de l'unicode
- on compte les occurences de chaque mot (gestion de parcours, etc. dans un fichier de 200Mo pour fr.wikipedia.org)
- possibilites de filtres par rapport à un dico existant (je veux les frequences des mots qui sont dans ce dico ET dans wikipedia, je veux les mots qui sont dans wikipedia mais pas dans tel ou tel dico, etc.)
- integration dans une base SQLite
Donc un peu de beaucoup de chose :)
Le temps que tu fasses un petit tour de toutes ces choses (regexp, wiki, python, SQL, etc.) y a de quoi s'occuper 3 mois si tu n'y connais rien