求教这句话啥含义！表明正版吗？

显示全部楼层 · 发表于 2013-7-19 12:47:30

www.taobao.com

由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述 - 了解详情

显示全部楼层 · 发表于 2013-7-19 13:31:57

本帖最后由伊川书院于 2013-7-19 13:33 编辑

这个界面的文字是由哪里提供的

偿试：清空缓存或采用IE试试

http://baike.baidu.com/view/9274458.htm?fromId=1280732

显示全部楼层 · 发表于 2013-7-20 09:56:33

本帖最后由 ioshx 于 2013-7-20 09:57 编辑

这个是淘宝用来屏蔽百度搜索蜘蛛的
（好像几年前）淘宝和百度闹别扭，说从百度搜索进淘宝的都是一些垃圾流量，然后淘宝就通过这个文件禁止了百度蜘蛛抓取它的页面。

显示全部楼层 · 发表于 2013-7-20 11:22:41

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

禁止百度蛛蛛爬行么

显示全部楼层 · 发表于 2013-7-20 22:51:08

用来屏蔽百度搜索蜘蛛的,详情可以google 下robots协议

[网络] 求教这句话啥含义！表明正版吗？