c'est marrant, je croyais que le /robots.txt permettait d'éviter que les moteurs de recherche n'aillent fouiller un peu trop loin... ils ne connaissent pas ça dans l'armée ?
Si il vous vient l'envie d'en mettre un chez vous, la syntaxe est on ne peut plus simple :
User-agent: *
Disallow: /private
Disallow: /phps/list
ca se traduit par :
pour tous les robots,
interdiction d'aller dans le répertoire /private
interdiction de choper toutes les URL du genre /phps/list* (comme listusers.php, etc)
Ce n'est pas sensé vous garantir une confidentialité des données, mais plutôt d'éviter les erreurs 404 d'être indexées...
[^] # Re: MDR !!!
Posté par Jerome Demeyer . En réponse à la dépêche Google est fantastique. Évalué à 10.
Si il vous vient l'envie d'en mettre un chez vous, la syntaxe est on ne peut plus simple :
User-agent: *
Disallow: /private
Disallow: /phps/list
ca se traduit par :
pour tous les robots,
interdiction d'aller dans le répertoire /private
interdiction de choper toutes les URL du genre /phps/list* (comme listusers.php, etc)
Ce n'est pas sensé vous garantir une confidentialité des données, mais plutôt d'éviter les erreurs 404 d'être indexées...
vite et mieux, comment faire un robots.txt ? http://www.robotstxt.org/wc/norobots.html
c'est standard, ya une RFC ? http://www.robotstxt.org/wc/norobots-rfc.html