Je suis aussi sysadmin de profession, et j'ai clairement pas les soucis qu'il a avec des bots de scraping. J'ai pas le souci sur les serveurs mailman, j'ai pas le souci sur les instances wordpress ou les instances discourse.
Et ça prouve quoi ? tu fais une erreur de raisonnement là. Les robots d'IA ne sont pas lancés au hasard sur les serveurs. Elles ciblent des types de contenus. Par exemple :
Si on veut analyser du code moderne, potentiellement bien foutu, SourceHut me parait une bonne piste vu les gens qui l'utilisent.
Quand les IA visitent intensivement le site de ma copine, ce qui les intéresse c'est le contenu informatif sur les jeux et jouets pour enfant, ce qu'on raconte autour, pas la fiche produit qui est de l'info catalogue.
Ce n'est pas qu'une histoire de compétences en gestion de serveur, on ne peut pas accepter que le traffic soit multiplié 2 ou par 10 (ma copine) à cause des IA, la bande passante n'est pas gratuite.
[^] # Re: robot.txt
Posté par orfenor . En réponse au lien Drew Devault : Please stop externalizing your costs directly into my face . Évalué à 3.
Et ça prouve quoi ? tu fais une erreur de raisonnement là. Les robots d'IA ne sont pas lancés au hasard sur les serveurs. Elles ciblent des types de contenus. Par exemple :
Ce n'est pas qu'une histoire de compétences en gestion de serveur, on ne peut pas accepter que le traffic soit multiplié 2 ou par 10 (ma copine) à cause des IA, la bande passante n'est pas gratuite.