我在做一个网站 而这个网站 部分二级域名开启百度蜘蛛的爬取

部分不支持百度蜘蛛

请问我如何在robots.txt做手脚 才能让百度蜘蛛不爬取

虽然我有尝试Robots.txtArticl.class.php 但是 失败

所以看看有没有知道的 帮助一下

最佳答案

评论() 相关

收藏

赞

youallmy

ThinkPHP 是一个免费开源的,快速、简单的面向对象的 轻量级PHP开发框架 ,创立于2006年初,遵循Apache2开源协议发布,是为了敏捷WEB应用开发和简化企业应用开发而诞生的。ThinkPHP从诞生以来一直秉承简洁实用的设计原则,在保持出色的性能和至简的代码的同时,也注重易用性。并且拥有众多的原创功能和特性,在社区团队的积极参与下,在易用性、扩展性和性能方面不断优化和改进,已经成长为国内最领先和最具影响力的WEB应用开发框架,众多的典型案例确保可以稳定用于商业以及门户级的开发。