(Je bosse chez G, pas chez MSN, mais la reponse est je pense semblable)
Les fichiers robots.txt servent au crawler, pas a l'indexeur. Je veux dire que si des pages ont été crawlées avant que tu ne mettes ton robots.txt, elle ne seront pas "automatiquement" supprimées de l'index de recherche. Elles ne le seront que la prochaine fois que G cherchera a mettre a jour leur contenu, ce qui peut prendre quelques semaines.
[^] # Re: Question con
Posté par Thomas Pedoussaut . En réponse au journal MSN Search se moque du fichier robot.txt ?. Évalué à 4.
Les fichiers robots.txt servent au crawler, pas a l'indexeur. Je veux dire que si des pages ont été crawlées avant que tu ne mettes ton robots.txt, elle ne seront pas "automatiquement" supprimées de l'index de recherche. Elles ne le seront que la prochaine fois que G cherchera a mettre a jour leur contenu, ce qui peut prendre quelques semaines.
Plus d'infos sur googlebot ici: http://www.google.com/webmasters/faq.html(...)