Cette approche statistique m'a tout de suite fait pensé à une solution à base de réseau de neurones. A-t-il déjà été envisagé d'explorer une telle solution pour détecter langue et encodage de caractère. J'imagine qu'avec un jeu de données qui contient des milliers d'articles Wikipédia, et ce dans plusieurs centaines de langues, ça devrait permettre d'obtenir de bons résultats. L'avantage que je vois c'est que le réseau analyserait également les mots et la grammaire d'une langue en plus des points que tu as indiqué. L'apprentissage pourrait être gourmand en ressource mais une fois le réseau entraîné, la vitesse d'exécution du programme ne devrait pas être long.
# Réseau de neurones
Posté par pamputt . En réponse à la dépêche Sortie de uchardet 0.0.8 pour la détection de codages de caractères. Évalué à 3. Dernière modification le 22 décembre 2022 à 10:57.
Cette approche statistique m'a tout de suite fait pensé à une solution à base de réseau de neurones. A-t-il déjà été envisagé d'explorer une telle solution pour détecter langue et encodage de caractère. J'imagine qu'avec un jeu de données qui contient des milliers d'articles Wikipédia, et ce dans plusieurs centaines de langues, ça devrait permettre d'obtenir de bons résultats. L'avantage que je vois c'est que le réseau analyserait également les mots et la grammaire d'une langue en plus des points que tu as indiqué. L'apprentissage pourrait être gourmand en ressource mais une fois le réseau entraîné, la vitesse d'exécution du programme ne devrait pas être long.