网络爬虫一天会爬2,3万 这是什么水平

网络爬虫一天能爬2,3万 这是什么水平
不知到怎么提高，想专门去做网络爬虫？ 有介绍的么？

[解决办法]
2到3万TB的数据么 那样的话爬虫还算可以的
[解决办法]
谁有google的蜘蛛厉害？CSDN里的帖子，你隔上半小时甚至10分钟去google里多半就能搜到。
[解决办法]
网络爬虫是什么啊 ！！
[解决办法]
同问，网络爬虫是什么？
[解决办法]
http://baike.baidu.com/view/284853.htm
[解决办法]

2w-3w per day


1200 per hour
20 per minute


[解决办法]
不知道2、3万的单位是什么？如果爬2、3万个网站那还是很厉害的鸟，如果是2、3万个网页那性能就有很大的提升空间。
[解决办法]

探讨

引用:

谁有google的蜘蛛厉害？CSDN里的帖子，你隔上半小时甚至10分钟去google里多半就能搜到。


哈哈，突然明白了。

这估计是针对 特点网站来爬的。 所以比较容易做到，不能说是有多厉害。

刚开始还以为是对整个，换联网来回爬呢。

[解决办法]
又长知识了，呵呵。
[解决办法]
我们自己写的爬虫爬百度1个小时就被禁IP了，你爬哪些网站，这么轻松
[解决办法]
好爬虫的标准就是，让带宽是瓶颈。以目前的adsl来算，带宽1m，普通网页按照100k来算，一小时4000个算达标。
[解决办法]
多谢11L科普
[解决办法]
特定网站也有头疼的
防爬虫js,各种BT验证码
[解决办法]
可以参考wget源码分析
[解决办法]

探讨

特定网站也有头疼的
防爬虫js,各种BT验证码

查看更多 下一篇