pour le crawl il y a plein d outils.
j'avais eu des expériences réussies avec scrapy (python) il y a quelques années,
pour un besoin perso.
si tu parviens à une archive, peux tu y donner accès? cela limiterait le crawl.
je ne sais pas s'il faut ou pas limiter l'accès à cette archive ni comment.
[^] # Re: Source des données
Posté par cassoslesptitsgars . En réponse au journal Crowd sourcing pour le nouveau data pipeline de linuxfr. Évalué à 0.
pour le crawl il y a plein d outils.
j'avais eu des expériences réussies avec scrapy (python) il y a quelques années,
pour un besoin perso.
si tu parviens à une archive, peux tu y donner accès? cela limiterait le crawl.
je ne sais pas s'il faut ou pas limiter l'accès à cette archive ni comment.
la connaissance ne vaut que si elle est partagée