URL: https://linuxfr.org/users/etb/journaux/msn-search-se-moque-du-fichier-robottxt Title: MSN Search se moque du fichier robot.txt ? Authors: Bruno Ethvignot Date: 2004年08月09日T09:57:05+02:00 Tags: Score: 0 Bonjour, Je me suis amusé à mettre le fichier robot.txt : User-agent: msnbot Disallow: / Effectivement le robot identifié sous le nom de "msnbot" ne vient plus lire mes pages. Par contre le site existe toujours dans le moteur MSN, malgrè une balise méta robots "noarchive". Mais le plus fort, c'est que MSN Search repère et enregistre les changements apportés au site aussi vite que Google. Première solution : MSN Search utililse un autre robot identifié sous un autre nom. Deuxième solution : MSN Search utilise les résultats d'un autre robot. Peut-être un partenariat avec un autre moteur de recherche ? Troisième solution : MSN Search indexe directement les pages d'autres moteurs comme Google. Qu'en pensez-vous ?

AltStyle によって変換されたページ (->オリジナル) /