• [^] # Re: trouver la langue d'un texte

    Posté par . En réponse au journal trouver la langue d'un texte. Évalué à 4.

    Là j'avais donné des pistes :

    http://linuxfr.org/comments/357202.html(...)

    A priori la technique la plus efficace serait celle avec les 3-grammes ... Mais peut être pas la plus simple à mettre en oeuvre (surtout pour avoir les 3-grammes spécifiques à la langue)

    Enfin, il n'y a pas de technique miracle : tu aura toujours des incertitudes ...

    Ce que je ferais :
    Trouver les ~10 mots les plus utilisés dans chaque texte, et regarder dans un dico de chaque langue s'ils y apparaissent.

    Tu peut affiner en les comparant principalement avec les mots-outils de chaque langue (style les pronoms, déterminants, ...)

    [bref, la loi de Zipf est ton amie]

    Tu peut avoir des outils (GPL) ici :
    http://monge.univ-mlv.fr/~unitex/(...)

    Y compris des dictionnaires sur plusieurs langues ...