D'ailleurs, la bonne logique serait que :
- absence de fichier robots.txt -> pas d'indexation ni de suivi des pages
- présence du fichier -> interprétation du fichier
Parce que sinon, il suffira à chacun de dire : vous n'avez pas le fichier/procédure truc, donc on indexe le site. Et il faudra avoir un fichier par moteur de recherche.
Il se trouve que pour le moment, le contenu de ce fichier robots.txt soit à peu près suivi par les moteurs de recherches.. pour le moment
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html
[^] # Re: robot.txt
Posté par GG (site web personnel) . En réponse au journal Google menace de déréférencer la presse française.. Évalué à -3.
D'ailleurs, la bonne logique serait que :
- absence de fichier robots.txt -> pas d'indexation ni de suivi des pages
- présence du fichier -> interprétation du fichier
Parce que sinon, il suffira à chacun de dire : vous n'avez pas le fichier/procédure truc, donc on indexe le site. Et il faudra avoir un fichier par moteur de recherche.
Il se trouve que pour le moment, le contenu de ce fichier robots.txt soit à peu près suivi par les moteurs de recherches.. pour le moment
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html