Oui Datafari CE possède un connecteur web auquel il faut transmettre la liste des URLs. La doc détaillée se trouve sur le site d'Apache ManifoldCF pour savoir ce qui peut être fait:
Attention cependant, Datafari n'a pas pour but de remplacer un outil dédié au crawl web massif comme un Apache Nutch et Apache StormCrawler, chacun sa spécialité :)
[^] # Re: Existe-t-il un connecteur web?
Posté par Datafarian00 . En réponse à la dépêche Sortie de Datafari 6.2, moteur de recherche open source pour entreprise avec de l'IA. Évalué à 2.
Bonjour Christophe,
Oui Datafari CE possède un connecteur web auquel il faut transmettre la liste des URLs. La doc détaillée se trouve sur le site d'Apache ManifoldCF pour savoir ce qui peut être fait:
https://manifoldcf.apache.org/release/release-2.28/en_US/end-user-documentation.html#webrepository
Nous avons complété ce connecteur et la doc avec quelques informations supplémentaires que vous trouverez ici:
https://datafari.atlassian.net/wiki/spaces/DATAFARI/pages/225902595/Web+connector
Attention cependant, Datafari n'a pas pour but de remplacer un outil dédié au crawl web massif comme un Apache Nutch et Apache StormCrawler, chacun sa spécialité :)