Si tu n'es pas Google, ou à la limite Bing, respecter robots.txt (à la lettre) n'est pratiquement pas une option.
Et ca ne change pas le fait que Google respectait le robots.txt depuis le début
Bah ouais, mais l'aspect « si t'es pas google ou bing ça ne marche pas », ça change quand même tout.
Oui, c'est vrai, Google a toujours respecté robots.txt. Au début, je suppose qu'ils étaient rares ou qu'ils ne bloquaient pas trop de choses. Ensuite, une fois qu'ils sont devenus majoritaires et que beaucoup de gens se sont mis à cibler Google spécifiquement, c'était évidemment facile de continuer à respecter robots.txt pour Google, mais en fait pour personne d'autre si tu voulais une indexation complète et de qualité.
Donc oui, Google respecte robots.txt, mais c'est plus simple de respecter une règle quand elle est taillée spécifiquement pour toi.
Ce n'est pas nécessairement de la faute de Google que les gens ont commencé à ne cibler que lui, quoi qu'ils auraient pu encourager un nom générique pour permettre de cibler tous les moteurs de recherche, mais l'avantage concurrentiel que ça leur a procuré ne les a pas forcément poussé à améliorer cet aspect...
Bref, mon message c'est que si l'argument « les robots actuels sont irrespectueux alors que regarde, Google a toujours réussi à respecter robots.txt » parait sensé aux premiers abords, il ne tient pas si bien la route que ça.
Même archive.org ne respecte plus robots.txt depuis longtemps.
Après, indépendamment de ça, oui, les bots IA sont odieux. Comme beaucoup de gens, j'ai été obligé de tenter de les bloquer. Déjà, je ne souhaite pas que les IA s'entraînent sur mon travail (voeux pieux évidemment), et puis ils faisaient monter mon CPU de quelques degrés, quand même (surtout quand ils tombent sur Forgejo)... et je ne doute pas qu'ils auraient ignoré un « Pas de crawling IA siouplait » même sans le monopole de Google sans aucune hésitation.
[^] # Re: sans dec'
Posté par raphj (site web personnel) . En réponse au lien Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - CloudFlare. Évalué à 3. Dernière modification le 05 août 2025 à 12:46.
Tout mon argument repose sur le fait que c'est pas "sûrement certaines personnes", c'est "assurément", et "beaucoup de webmestres". On trouve des solutions à base de « autoriser Google et Bing et rien d'autre » à la pelle sur internet et énormément de monde le fait.
Si tu n'es pas Google, ou à la limite Bing, respecter
robots.txt(à la lettre) n'est pratiquement pas une option.Bah ouais, mais l'aspect « si t'es pas google ou bing ça ne marche pas », ça change quand même tout.
Oui, c'est vrai, Google a toujours respecté
robots.txt. Au début, je suppose qu'ils étaient rares ou qu'ils ne bloquaient pas trop de choses. Ensuite, une fois qu'ils sont devenus majoritaires et que beaucoup de gens se sont mis à cibler Google spécifiquement, c'était évidemment facile de continuer à respecterrobots.txtpour Google, mais en fait pour personne d'autre si tu voulais une indexation complète et de qualité.Donc oui, Google respecte robots.txt, mais c'est plus simple de respecter une règle quand elle est taillée spécifiquement pour toi.
Ce n'est pas nécessairement de la faute de Google que les gens ont commencé à ne cibler que lui, quoi qu'ils auraient pu encourager un nom générique pour permettre de cibler tous les moteurs de recherche, mais l'avantage concurrentiel que ça leur a procuré ne les a pas forcément poussé à améliorer cet aspect...
Bref, mon message c'est que si l'argument « les robots actuels sont irrespectueux alors que regarde, Google a toujours réussi à respecter robots.txt » parait sensé aux premiers abords, il ne tient pas si bien la route que ça.
Même archive.org ne respecte plus robots.txt depuis longtemps.
Après, indépendamment de ça, oui, les bots IA sont odieux. Comme beaucoup de gens, j'ai été obligé de tenter de les bloquer. Déjà, je ne souhaite pas que les IA s'entraînent sur mon travail (voeux pieux évidemment), et puis ils faisaient monter mon CPU de quelques degrés, quand même (surtout quand ils tombent sur Forgejo)... et je ne doute pas qu'ils auraient ignoré un « Pas de crawling IA siouplait » même sans le monopole de Google sans aucune hésitation.