基于Xpath采集和讯网经济人物Java实现
背景需求：
采集和讯网的财经人物，url为：http://renwu.hexun.com/，采集人物名称然后保存。
思路：
基于dom4j采集，根据url规则遍历获取，直到没有人物数据，基于xpath解析出最终的人物名称。
实现：
private static void getRWData(Set<String> set) throws Exception {String xpath = "/*[name()='HTML']/*[name()='BODY']/*[name()='DIV']/*[name()='DIV']/*[name()='DIV']/*[name()='DIV']/*[name()='DIV']/*[name()='DIV']/*[name()='UL']/*[name()='LI']/*[name()='A']";DOMParser parser = new DOMParser();for (int i = 1; i < 10000; i++) {parser.parse("http://renwu.hexun.com/search.aspx?z=All&Filter=All&page="+i);DOMReader domReader = new DOMReader();Document document = domReader.read(parser.getDocument());Element root = document.getRootElement();List<Node> nodes = root.selectNodes(xpath);if(nodes.isEmpty()){return;}for (Node node : nodes) {set.add(node.getText());}}}保存在Set中供后期使用?
?
?
?