Non c'est beaucoup plus simple que de l'intelligence artificielle tout en étant plus compliqué qu'une simple liste noire de mots bannis ! Les explications qu'on trouve sur le site de DansGuardian sont les suivantes. Pour chaque langue on crée des listes de mots ou expressions bannis et des listes pondérées. Forcément si on trouve une expression bannie, par exemple « réservé aux plus de 18 ans », l'algorithme répond tout de suite « contenu interdit ».
Sinon il balaie la page à la recherche des mots des listes pondérées. Lorsqu'il en trouve un, il dégrade le score de « nocivité » de la page avec une valeur qui est donnée dans la liste. Par exemple « sexe » aura vraisemblablement une nocivité plus faible que « sado-maso ». Il y a aussi des listes blanches qui diminuent la nocivité. On pourrait imaginer que le mot « encyclopédie » améliore ainsi le score de la page. À la fin du processus, si on dépasse un seuil défini dans les paramètres de configuration, alors la page est bloquée.
Là où ça se complique, c'est quand il faut traiter le problème de l'encodage. DansGuardian ne cherche pas à le deviner et ne fait aucune hypothèse dessus. Du coup quand il scanne les pages, il les scanne en pur binaire. Mais alors si la liste de mots n'est pas dans le même encodage que la page, ça risque d'échouer : il faut fournir pour une langue donnée autant de listes que d'encodages sont utilisés pour la transcrire... Pour cette raison le processus de construction des images CD de DoudouLinux intègre un système de conversion d'encodage automatique. Nous ne gérons que des listes en UTF-8, le script de construction s'occupe du reste.
Bon sinon je pense qu'à terme le filtrage ne va pas intéresser que les chinois ;). On pense ajouter des mots comme téléchargement, p2p, direct download, Johnny, Carla Bruni, etc., avec une connexion directe sur les serveurs Hadopi !
[^] # Re: Filtrage
Posté par Jean-Michel Philippe . En réponse à la dépêche DoudouLinux intègre un filtrage de contenu web. Évalué à 4.
Sinon il balaie la page à la recherche des mots des listes pondérées. Lorsqu'il en trouve un, il dégrade le score de « nocivité » de la page avec une valeur qui est donnée dans la liste. Par exemple « sexe » aura vraisemblablement une nocivité plus faible que « sado-maso ». Il y a aussi des listes blanches qui diminuent la nocivité. On pourrait imaginer que le mot « encyclopédie » améliore ainsi le score de la page. À la fin du processus, si on dépasse un seuil défini dans les paramètres de configuration, alors la page est bloquée.
Là où ça se complique, c'est quand il faut traiter le problème de l'encodage. DansGuardian ne cherche pas à le deviner et ne fait aucune hypothèse dessus. Du coup quand il scanne les pages, il les scanne en pur binaire. Mais alors si la liste de mots n'est pas dans le même encodage que la page, ça risque d'échouer : il faut fournir pour une langue donnée autant de listes que d'encodages sont utilisés pour la transcrire... Pour cette raison le processus de construction des images CD de DoudouLinux intègre un système de conversion d'encodage automatique. Nous ne gérons que des listes en UTF-8, le script de construction s'occupe du reste.
Bon sinon je pense qu'à terme le filtrage ne va pas intéresser que les chinois ;). On pense ajouter des mots comme téléchargement, p2p, direct download, Johnny, Carla Bruni, etc., avec une connexion directe sur les serveurs Hadopi !