J'ai pas encore lu le papier (et le billet de korben, bon).
J'avais il y a encore quelques semaines un cas où on reçoit disons des chaînes de caractères d'utilisateurs et on cherche à sortir pour chaque chaîne le nombre d'utilisateur unique qui nous l'on envoyé par jour et par mois. Comme on a 20 millions d'utilisateurs, (malheureusement) des centaines de milliers de chaînes distinctes, qu'il est demandé à ce que ce soit compté "en live" et pas de ressources infinies, il faut avoir des stratégies.
Nous on est parti sur des hash des valeurs stockés par utilisateurs avec des hash non cryptographiques et en réduisant (un peu) la taille du hash, mais on aurait pu réduire la taille du hash quitte à générer des collisions à la marge (comme on peut faire des stats sur nos données, on peut appliquer les formules du "paradoxe" des anniversaires pour savoir à partir de quelle taille on a quelle probabilité de collision).
Mais les donneurs d'ordre n'aiment pas trop les comportement probabilistes quand bien même on peut leur données des valeurs chiffrées.
Je suis très curieux de si cet algo est pertinent pour le cas dont je parle.
[^] # Re: Compléments
Posté par barmic 🦦 . En réponse au lien Une nouvelle méthode efficace de comptage d’éléments distincts dans un flux de données. Évalué à 3.
J'ai pas encore lu le papier (et le billet de korben, bon).
J'avais il y a encore quelques semaines un cas où on reçoit disons des chaînes de caractères d'utilisateurs et on cherche à sortir pour chaque chaîne le nombre d'utilisateur unique qui nous l'on envoyé par jour et par mois. Comme on a 20 millions d'utilisateurs, (malheureusement) des centaines de milliers de chaînes distinctes, qu'il est demandé à ce que ce soit compté "en live" et pas de ressources infinies, il faut avoir des stratégies.
Nous on est parti sur des hash des valeurs stockés par utilisateurs avec des hash non cryptographiques et en réduisant (un peu) la taille du hash, mais on aurait pu réduire la taille du hash quitte à générer des collisions à la marge (comme on peut faire des stats sur nos données, on peut appliquer les formules du "paradoxe" des anniversaires pour savoir à partir de quelle taille on a quelle probabilité de collision).
Mais les donneurs d'ordre n'aiment pas trop les comportement probabilistes quand bien même on peut leur données des valeurs chiffrées.
Je suis très curieux de si cet algo est pertinent pour le cas dont je parle.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll