Le fichier Robots.txt c'est efficace si les robots des IA obtempèrent ET s'il est à jour. Aucun de ces critères n'est facile à respecter dans la courses aux IA. En plus les IA scannent aussi avant de se faire connaître.
Pour les robots connus, on est vite obligé de doubler le fichier Robots avec des directives serveur.
[^] # Re: robot.txt
Posté par orfenor . En réponse au lien Drew Devault : Please stop externalizing your costs directly into my face . Évalué à 4.
Le fichier Robots.txt c'est efficace si les robots des IA obtempèrent ET s'il est à jour. Aucun de ces critères n'est facile à respecter dans la courses aux IA. En plus les IA scannent aussi avant de se faire connaître.
Pour les robots connus, on est vite obligé de doubler le fichier Robots avec des directives serveur.
Il y a un projet Github pour garder une liste à jour:
https://github.com/ai-robots-txt/ai.robots.txt
Sur le petit serveur de ma copine, les IA sont une terrible plaie, qui multiplie considérablement la charge (fois 10 et plus).