URL: https://linuxfr.org/users/palkeo/journaux/crawler-web-google-sets Title: Crawler web & Google Sets Authors: palkeo Date: 2014年12月11日T04:22:41+01:00 License: CC By-SA Tags: Score: 21 Bonjour les moules ! Comme j'ai déjà posté quelques expériences que je considère comme sympathique et que les retours étaient plutôt sympa, je vais vous parler de mon dernier délire. Il y a deux parties que je pense assez indépendantes : 1. Comment faire un « crawler web » en Python. Mais en ultra-simplifié (100 lignes de code), et très performant (500 pages/s). Pratique pour faire des expériences sur de gros volumes de pages web, sans se prendre la tête. 2. [palkeo sets](http://sets.palkeo.com) : à partir d'un crawl de centaines de millions de pages web, comment re-créer un genre de « Google Sets ». Pour ceux qui ne l'ont pas connu, il permettait, à partir d'un ou deux éléments, de générer le reste de la liste. À partir de "janvier", pouf, on a la liste des mois par exemple. Mais on peut faire bien plus spécifique :) J'en ai fait un article sur mon site personnel : http://www.palkeo.com/projets/sets.html Je vous laisse le lire si ça vous intéresse (oui, c'est un journal-bookmark). C'est tout, j'espère que ça vous intéressera (motivera à faire des trucs fun à partir d'analyse de pages web en masse ? :p) palkeo.