nginx强行屏蔽——微软(BING),无语。。。 微软(BING)完全不遵守robots规则以下是我的robots文件
从日志来看,bing算法相当差,爬行的频率相当高。这对于我这种动态的应用简直就是一个噩梦,无奈只能强行屏蔽服务器使用的是nginx。在配置文件中,添加如下代码:site:我的服务器的域名可以看到已经没有快照了,虽然有大量的地址。。。。
site:我的服务器的域名