Pour info, puisqu'il a été question de robots.txt.
Le site de support du CMS SPIP, discuter.sip.net a reçu récemment une requête de la BnF concernant l'archivage des sites SPIP.
La BnF collecte le web français et les archive depuis 1996. Je cite :
À ce titre, nous archivons de nombreux sites utilisant le CMS SPIP, afin d’en conserver la mémoire. Malheureusement, nous avons constaté à plusieurs reprises un blocage de sécurité de nos robots de collecte. Ce blocage est en lien avec la présence du mot « bot » dans le user agent de notre robot et intervient au niveau de l’écran de sécurité.
Dans les réponses, on signale que les robots sont bloqués quant le site est surchargé.
# La BnF et les sites sous SPIP
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . En réponse au lien Drew Devault : Please stop externalizing your costs directly into my face . Évalué à 6.
Pour info, puisqu'il a été question de robots.txt.
Le site de support du CMS SPIP, discuter.sip.net a reçu récemment une requête de la BnF concernant l'archivage des sites SPIP.
La BnF collecte le web français et les archive depuis 1996. Je cite :
Dans les réponses, on signale que les robots sont bloqués quant le site est surchargé.
Je n’ai aucun avis sur systemd