Posté par binoyte .
En réponse au journal Analyse de texte.
Évalué à 1.
Dernière modification le 16 décembre 2015 à 09:13.
supporter plus que l'ascii
gérer les mots composés
avoir une véritable fréquence \frac{c_m}{n} avec un mot m rencontré c_m fois et un texte de n mots
...
Quelques suggestions rapides à tes remarques :
1. en convertissant les encodages avec la commande iconv
2. en accédant aux dictionnaires (comme /usr/share/dict/words ou un dictionnaire Hunspell) et en s'assurant que le tiret est bien absent de la variable IFS
3. en comptant le total des mots du fichier avec wc -l sur la liste des mots avant le dé-doublonnage par uniq -c
4. ...
... Je ne vois rien de rédhibitoire à résoudre ce problème en Shell.
Là, on est juste trop loin de son domaine de prédilection.
Le traitement de données textuelles est justement le domaine de prédilection du Shell.
[^] # Re: un pipe de six commandes shell et s'est plié
Posté par binoyte . En réponse au journal Analyse de texte. Évalué à 1. Dernière modification le 16 décembre 2015 à 09:13.
Quelques suggestions rapides à tes remarques :
1. en convertissant les encodages avec la commande
iconv2. en accédant aux dictionnaires (comme
/usr/share/dict/wordsou un dictionnaire Hunspell) et en s'assurant que le tiret est bien absent de la variableIFS3. en comptant le total des mots du fichier avec
wc -lsur la liste des mots avant le dé-doublonnage paruniq -c4. ...
... Je ne vois rien de rédhibitoire à résoudre ce problème en Shell.
Le traitement de données textuelles est justement le domaine de prédilection du Shell.