Tu opposes le traitement par tokenisation et l'analyse de zones de textes. En réalité tu n'as pas besoin de choisir, tu peux avoir les deux
En effet, mais puisque je me suis passé de tokenisation jusqu’à présent, ça me semblait bête de l’introduire maintenant. Ce n’est pas une opération négligeable en termes de ressources. Découper chaque phrase en tokens, les mémoriser, les étiqueter, les classer, etc. ce n’est pas rien. Du coup, ma solution d’étiquetage, qui se passe de tout ça, est plus simple.
Avec le préprocesseur de texte, on part sur une logique opposée à l’arborescence. Au lieu de composer des syntagmes étiquetés, on réduit les syntagmes à leur plus simple élément, voire on les élimine complètement quand ils ne servent plus.
Si un jour, je fais de la tokenisation dans Grammalecte, il sera sans doute cohérent de revoir complètement son mode de fonctionnement.
[^] # Re: On dirait de la compilation ... mais en plus difficile
Posté par Olivier . En réponse à la dépêche Grammalecte, correcteur grammatical. Évalué à 4.
En effet, mais puisque je me suis passé de tokenisation jusqu’à présent, ça me semblait bête de l’introduire maintenant. Ce n’est pas une opération négligeable en termes de ressources. Découper chaque phrase en tokens, les mémoriser, les étiqueter, les classer, etc. ce n’est pas rien. Du coup, ma solution d’étiquetage, qui se passe de tout ça, est plus simple.
Avec le préprocesseur de texte, on part sur une logique opposée à l’arborescence. Au lieu de composer des syntagmes étiquetés, on réduit les syntagmes à leur plus simple élément, voire on les élimine complètement quand ils ne servent plus.
Si un jour, je fais de la tokenisation dans Grammalecte, il sera sans doute cohérent de revoir complètement son mode de fonctionnement.