网站推广：网站优化过程中怎么屏蔽蜘蛛爬行页面

网站优化过程中怎么屏蔽蜘蛛爬行页面？相信很多人都会遇见想屏蔽的页面被搜索引擎抓取，其实很简单，只要用好robots文件就行。也就好似robots.txt文件，这个文件可以屏蔽搜索引擎蜘蛛。下面请看具体的操作方法。

　　User-agent: *  　　(星号代表所有的搜索引擎)

　　Disallow: /admin 　　（禁止所有的搜索引擎蜘蛛抓取admin目录下的文件）

　　Disallow: /hello 　　（禁止所有的搜索引擎蜘蛛抓取hello目录下的文件）

　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

　　robots.txt文件的格式

　　User-agent: 定义搜索引擎的类型

　　Disallow: 定义禁止搜索引擎收录的地址

　　Allow: 定义允许搜索引擎收录的地址

　　我们常用的搜索引擎类型有： (User-agent区分大小写)

　　google蜘蛛：Googlebot

　　百度蜘蛛：Baiduspider

　　yahoo蜘蛛：Yahoo!slurp

　　alexa蜘蛛：ia_archiver

　　bing蜘蛛：MSNbot

　　altavista蜘蛛：scooter

　　lycos蜘蛛：lycos_spider_(t-rex)

　　alltheweb蜘蛛：fast-webcrawler

　　inktomi蜘蛛： slurp

　　Soso蜘蛛:Sosospider

　　Google Adsense蜘蛛:Mediapartners-Google

　　有道蜘蛛:YoudaoBot

◆电话受理中心（用户综合窗口）
为了给广大客户提供更优质、快捷的网站维护服务，在中国业界率先设立了全天候服务式的电话受理中心，并始终坚持“快速”“准确”“亲切”的服务理念。走过风雨兼程的10年，我们尝尽酸甜苦辣，但是为客户服务的心，却一刻也不曾停歇，为了您的欢笑，我们仍将继续前行。

◆全国统一免费网站维护电话:400-670-5808（支持任何用户拨打）邮箱：xieaijiao@cdsheji.com QQ:284888576

◆营业时间：365天·24小时，年中无休。
◆对应业务：与网站维护有关的任何商谈和咨询（网站维护、网站修改、网页修改、网站安全、网站杀毒、网站中毒、网站备份、网站恢复、网站备案、网站建设、技术咨询、网站域名、网站空间、企业邮箱等）