首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

爬虫程序 多线程有关问题

2012-04-12 
爬虫程序 多线程问题最近想做一个爬虫程序,下载网页,分析网页源代码。之前在网上看了一些文章,说是这类程序

爬虫程序 多线程问题
最近想做一个爬虫程序,下载网页,分析网页源代码。

之前在网上看了一些文章,说是这类程序用多线程会快很多,我想到的是用一个线程分析网页源代码,用一个线程下载,网上有些代码是用多个线程进行下载,我在想,如果在单核CPU下,多个线程下载会比单个线程下载快吗?? 那如果是4核的话,几个线程同时下载比较合理???

[解决办法]
你没有理解多线程的原因,计算机目前的cpu计算速度是远远超过数据输入速度的。


尤其是下载,IO的速度太慢,导致很多的cpu时间实际上是在等待状态,多线程在单核上的意义就在于 提高cpu的利用率。减少无谓的等待时间。



如果多核的情况下,自然是更好了。


至于多少个线程比较合适,真是要看具体的情况了。你的网速,你的程序。一般都要做实验才能知道一个大概值
[解决办法]
这个应该没有确定的答案吧!
每个人的电脑配置不同,网速也有不同!

热点排行
Bad Request.