Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动
?????本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/642550
???? 本博客已迁移到本人独立博客: http://www.yun5u.com/
???????欢迎加入Heritrix群(QQ)：109148319,10447185? , Lucene/Solr群(QQ) :? 118972724?
?
???? ?在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种：一种是通过tomcat或者JBOSS或者Jetty等Web容器，还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码，所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释：
???
import java.io.File;import javax.management.InvalidAttributeValueException;import org.archive.crawler.event.CrawlStatusListener;import org.archive.crawler.framework.CrawlController;import org.archive.crawler.framework.exceptions.InitializationException;import org.archive.crawler.settings.XMLSettingsHandler;public class StartHeritrixByEclipse {public static void main(String[] args) throws InterruptedException {String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径File file = null;//order.xml文件CrawlStatusListener listener = null;//监听器XMLSettingsHandler handler = null;//读取order.xml文件的处理器CrawlController controller = null;//Heritrix的控制器try {file=new File(orderFile);handler = new XMLSettingsHandler(file);handler.initialize();//读取order.xml中的各个配置controller = new CrawlController();//controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器if (listener != null) {controller.addCrawlStatusListener(listener);//控制器添加监听器}controller.requestCrawlStart();//开始抓取/* * 如果Heritrix还一直在运行则等待 */while (true) {if (controller.isRunning() == false) {break;}Thread.sleep(1000);}//如果Heritrix不再运行则停止controller.requestCrawlStop();} catch (InvalidAttributeValueException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (InitializationException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}?
这里可以发现，其实只要知道一个order.xml路径就可以开始抓取了(同时还要seeds.txt种子文件),至于order.xml如何配置可以查看我前面的博客:http://guoyunsky.iteye.com/admin/blogs/613412
???
???????????
?????
at org.archive.crawler.fetcher.FetchHTTP.configureHttpCookies(FetchHTTP.java:1275)