首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > .NET > C# >

C#多线程抓取网页

2013-09-06 
求助C#多线程抓取网页URl:http://www.qiushibaike.com/8hr/page/4我要用c# 多线程去下载构造Url即为http:/

求助C#多线程抓取网页
URl:http://www.qiushibaike.com/8hr/page/4
我要用c# 多线程去下载
构造Url即为http://www.qiushibaike.com/8hr/page/{0}-9999
现在的程序是单线程,下载速度很慢。
尝试使用多线程,采用的线程数组的方式,但是运行结果同单线程下载差不多。
求问某些网站采集器设置多线程数量的那种抓取 下载速度为为啥那么快。。求代码
多线程 C#
[解决办法]
我理解的是多线程是更多的利用网络资源,单线程利用的网络资源是有上限的
[解决办法]
假设下载一个页面需要10秒,多线程并不能加快这个速度,
而是可以开十个线程,分别下载不同的页面,
那么在10秒后可以得到10个页面。

但若是网站有限制的话,就不能多线程访问了。

[解决办法]
单线程慢的话,多线程也不会快到哪里去的。
[解决办法]
用线程池吧。

系统帮你调度线程。


[解决办法]
其实同样道理 你启动10个线程就行了啊.

page/{0}-9999  每个线程控制下啊. lock 控制好即可.

热点排行