搜索引擎是如何防止恶意搜索抓取页面的，大家探讨下

搜索引擎是怎么防止恶意搜索抓取页面的，大家探讨下

有人说 是通过 ip 或者 一定时间的访问量  是不是还有什么其他
比如搜狗 
我用浏览器直接 搜索  可以
但是用 php或者其他脚本语言 去抓取 就会出现 让你输入验证码的页面  
怎么破