Après, ça me semble très dur d'arriver à trouver un système pour stocker mes index dans un ou quelques fichiers
Vu la taille de tes fichiers (qqes centaines d'octets), je pense que tu pourrais remplacer le système de fichiers par une base de données clé-valeur plus simpliste. D'expérience, leveldb est parfaitement taillé pour le job, extrêmement rapide et offre même une compression (snappy) à partir d'une certaine taille. J'imagine qu'il doit y avoir tout ce qu'il faut en python pour en profiter.
[^] # Re: Indexation
Posté par rakoo (site web personnel) . En réponse au journal Mon projet : Feedspot. Évalué à 4.
Vu la taille de tes fichiers (qqes centaines d'octets), je pense que tu pourrais remplacer le système de fichiers par une base de données clé-valeur plus simpliste. D'expérience, leveldb est parfaitement taillé pour le job, extrêmement rapide et offre même une compression (snappy) à partir d'une certaine taille. J'imagine qu'il doit y avoir tout ce qu'il faut en python pour en profiter.