【多线程数据采集课题】java采集网页数据方法

【多线程数据采集专题】java采集网页数据方法

java多线程网络数据采集  第一步抓取数据。

java采集网页数据。获取html文本节点

有几种办法。转载文章请注明来处：http://blog.csdn.net/column/details/threadgrab.html

第一种： 采用HttpURLConnection

//站点入口列表public static List<String> getSiteUrlList1(List<String> list,String listurl){if(list==null || list.size()<=0){list = new ArrayList<String>();}try {Document docdata = Jsoup.connect(listurl).timeout(10000).get();String hb = ".m_book li a";String page = ".page_list .page_up";Elements ele = docdata.select(hb);for (Element el : ele) {list.add(el.attr("href"));}if(docdata.select(page)!=null && docdata.select(page).first()!=null){String url = "http://www.xxxxx.com/site_map/"+docdata.select(page).first().attr("href");getSiteUrlList1(list, url);}} catch (Exception e) {e.printStackTrace();}return list;}

第三种：http模拟器

可以请求表单数据和 重定向

http://blog.csdn.net/yjflinchong/article/details/8004706 

以上先描述第一步抓取数据。后期加入多线程网络数据采集完整介绍。

4楼yjflinchong16分钟前

以后定时更新 数据采集后期文章。

3楼yjflinchong28分钟前

以前没时间发布专栏文章，这些天离职了。 在家闲着就写写经验。

2楼yjflinchong1小时前

请朋友们多多支持。 原创文章。 转载请注明出处

1楼liangbinny1小时前

学习了，楼主能否帮我看下以下这个论坛的html源码能否采集的到？nhttp://www.19lou.com/forum-26-thread-11501349353908253-1-1.htmln这个地址是经过重定向的，用第一种方法提取不了。

Re: yjflinchong1小时前

回复liangbinnyn重定向 可以用http模拟器 试试。 可以获取重定向地址。 依旧可以访问到。