首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > JAVA > J2EE开发 >

有关网络爬虫速度,该怎么处理

2011-12-28 
有关网络爬虫速度最近在写了个爬虫,在一个网站爬东西,但是爬取页面比较多,被封ip了,虽然他允许输入验证码

有关网络爬虫速度
最近在写了个爬虫,在一个网站爬东西,但是爬取页面比较多,被封ip了,虽然他允许输入验证码解封,但是数据量比较大,不能一直这样做,如何降低自己的速度,或者流量之类的,防止出现这种情况

[解决办法]
Thread.sleep(10*1000); 然线程歇个10秒

热点排行