Pour créer un robot de Web Scrapping, 5 composants sont nécessaires dans la pipeline à construire :
Un composant de type "cron" avec une répétition programmée qui permettra de déclencher le traitement à fréquence constante : toutes les minutes, 2 minutes, 5 minutes ...
Un composant de type "curl" pour appeler la page ou la ressource sur le Web que vous voulez vérifier.
Un composant de type "switch" pour vérifier le code de réponse
Un composant de type "grep" pour récupérer le contenu de la page Web ou de la ressource sur le Web.
Un composant de notification (mail) pour vous informer du changement de statut de la page Web.
Ce post est offensant ? Prévenez moi sur https://linuxfr.org/board
# Comment faire un robot de web scraping en 1 min avec bash
Posté par devnewton 🍺 (site web personnel) . En réponse au lien Créer un Robot 🤖 de Web Scraping 🕸️ en 2 minutes avec Node-Red 🟥. Évalué à 6.
Pour créer un robot de Web Scrapping, 5 composants sont nécessaires dans la pipeline à construire :
Ce post est offensant ? Prévenez moi sur https://linuxfr.org/board