首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

nginx强行障蔽——微软(BING),无语。

2012-10-24 
nginx强行屏蔽——微软(BING),无语。。。微软(BING)完全不遵守robots规则以下是我的robots文件从日志来看,bing

nginx强行屏蔽——微软(BING),无语。。。
微软(BING)完全不遵守robots规则
以下是我的robots文件




从日志来看,bing算法相当差,爬行的频率相当高。

这对于我这种动态的应用简直就是一个噩梦,无奈只能强行屏蔽

服务器使用的是nginx。
在配置文件中,添加如下代码:
site:我的服务器的域名

可以看到已经没有快照了,虽然有大量的地址。。。。

热点排行