À une époque je faisais comme tu dis. Je générai l'identifiant avec un hash sur le contenu de l'article... Et je crois même que les id des articles étaient relatifs aux flux. Mais ça ne me plaisait pas trop. Maintenant l'id est simplement une variable auto-incrémenté (non relative au flux).
Actuellement, j'utilise simplement l'adresse de l'article pour vérifier si il est déjà en base. Après avoir nettoyé l'URL. Akregator a le même problème, j'ai des doublons. Mais ça ne me choque pas du tout. Comment vraiment générer un ID qui sera unique et désigne toujours le même article?
Et si j'active cette option l'URL sera stockée sous la forme: http://blog.cryptographyengineering.com/2015/02/how-do-we-pay-for-privacy.html
Et là, je limite vraiment les problèmes de doublons.
Sur ma base de test, j'ai plus de 100.000 articles. Et aucun doublon (quelques uns, mais j'ai une fonction pour les détecter automatiquement. Je supprime manuellement après contrôle).
[^] # Re: Petit retour
Posté par Cédric Bonhomme (site web personnel, Mastodon) . En réponse au journal Nouveautés de pyAggr3g470r. Évalué à 0.
À une époque je faisais comme tu dis. Je générai l'identifiant avec un hash sur le contenu de l'article... Et je crois même que les id des articles étaient relatifs aux flux. Mais ça ne me plaisait pas trop. Maintenant l'id est simplement une variable auto-incrémenté (non relative au flux).
Actuellement, j'utilise simplement l'adresse de l'article pour vérifier si il est déjà en base. Après avoir nettoyé l'URL. Akregator a le même problème, j'ai des doublons. Mais ça ne me choque pas du tout. Comment vraiment générer un ID qui sera unique et désigne toujours le même article?
Pour moi, c'est d'autant plus embêtant que j'utilise pratiquement toujours Tor, même avec cet agrégateur.
Ainsi je peux récupérer le même article avec différentes adresses. Exemple:
http://python-history.blogspot.[fr|de|it]/2013/11/the-history-of-bool-true-and-false.html
Ça dépend donc du noeud de sortie.
Ou, pire:
- http://feedproxy.google.com/~r/AFewThoughtsOnCryptographicEngineering/~3/kbMS_0-DeYQ/how-do-we-pay-for-privacy.html (URL dans le flux ATOM/RSS. Dégueulasse)
- http://blog.cryptographyengineering.com/2015/02/how-do-we-pay-for-privacy.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+AFewThoughtsOnCryptographicEngineering+%28A+Few+Thoughts+on+Cryptographic+Engineering%29&utm_content=FeedBurner (URL qu'on obtient après avoir fait un GET sur l'URL de flux. Horrible)
C'est pour ça que je nettoie les URL.
Et si j'active cette option l'URL sera stockée sous la forme:
http://blog.cryptographyengineering.com/2015/02/how-do-we-pay-for-privacy.html
Et là, je limite vraiment les problèmes de doublons.
Sur ma base de test, j'ai plus de 100.000 articles. Et aucun doublon (quelques uns, mais j'ai une fonction pour les détecter automatiquement. Je supprime manuellement après contrôle).