首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

网页抓取总结

2012-10-08 
网页抓取小结网页抓取步骤:1.将页面转化为流(或字符串)2.将流保存为.xml文件(主要目地是为了处理中文乱码

网页抓取小结
    网页抓取步骤:
     1.将页面转化为流(或字符串)
    2.将流保存为.xml文件(主要目地是为了处理中文乱码问题,xml文件为临时文件)
    3.将xml转化为流,用Jtidy进行html格式化处理,并将处理好后的流转化为dom树
    4.将dom树转化为xpath可以解析的InputSource
    5.用xpath进行解析

     代码暂不演示。
     补充:
     1.如果要使用文件保存,可利用线程名来命名文件,避免出现IO异常。另外可将流直接转化为String,再将String转化流供Jtidy处理。
     2.如果服务器为IBM AIX,则要注意啦,在此机器下虽经Jtidy处理,但是仍然有些标签不会封闭,没有封闭的标签Xpath是会出现解析异常的。
     3.AIX对某些标签的处理和windows及linux不同,需要多加注意。有些标签在windows下解析没问题,但是在AIX下就会出问题。

热点排行