Heritrix应用的初步总结

Heritrix使用的初步总结
一、框架介绍?公司最近项目要用到全文检索，检索对象是一些网站的网页内容，要使用到网络爬虫工具。?????? 目前技术选型对象主要有两个：Heritrix 和 Nutch。二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（ Web Crawler），它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。?下面是二者的介绍，摘自网络：

Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。

二者的差异： Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌 Nutch 可以修剪内容，或者对内容格式进行转换。 Nutch 保存内容为数据库优化格式便于以后索引；刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。 Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。 Nutch 的定制能力不够强，不过现在已经有了一定改进。Heritrix 可控制的参数更多。

?二、关于Heritrix使用的初步总结?目前对Heritrix做了初步选型测试，有了一些总结：?1.关于安装：?????? 目前的版本号为1.12.1，官网地址为?http://crawler.archive.org/。常规安装，即解压到相关目录，之后配置系统环境变量"HERITRIX_HOME"到该解压目录（Java环境已经配置好）。??2.安装的后续工作：?????? 将 %HERITRIX_HOME%\heritrix-1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%\conf\目录下，用来解决Heritrix 关于的Profile默认配置的一个Bug。??3.配置管理帐户：?????? 拷贝 %HERITRIX_HOME%\conf\jmxremote.password.template 到 %HERITRIX_HOME%\下，并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分：monitorRole? @PASSWORD@???????? monitorRole? admin
controlRole? @PASSWORD@??==>? controlRole? admin????? 修改完毕之后，保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步：在该文件jmxremote.password的属性窗口中查看“安全”标签，该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户，而不应该是某一个用户组（例如Administrators），这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误，需要你修改jmxremote.password文件的属性为“只读”，但是其实已经做了该项改动。??4.运行Heritrix：?????? CMD定位到 %HERITRIX_HOME%\bin，执行 "heritrix --admin=admin:admin" 命令，即可启动 heritrix，有一点需要注意，heritrix默认使用8080端口，要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080?使用 heritrix 提供的WUI，即Web管理端。并且使用"admin/admin"登录。????? 该管理端提供了Heritrix默认提供的所有配置功能，并且可以创建一个Job并且执行该Job抓取网站。??5.一个简单的Job:??????Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤如下，可供参考：

(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的前两项 ???? Name和Description随意，Seeds非常重要：http://www.baidu.com/?注意最后一个反斜杠必须。?(2) 选择下边的"Modules"，进入Module配置页（Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己???? 想要的功能）。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"???? 。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加?? ? "org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的???? 目录结构中，而不是生成ARC存档文件。?(3) 选择"Modules"右边的"Submodules"，在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其???? 中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的???? 规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。??(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项：http-headers 下的user-agent 和 ???? from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容??? （"PROJECT_URL_HERE" 要以 "http://" 开头）?(5) 在WUI的第二行导航栏中选择最右边的"Submit job"?(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络状况和所抓取网站的?????深度有关。

?????按照如上步骤应该可以正确的执行一次网站的抓取任务，抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到，都有详细的说明。 1 楼 jialno 2007-07-21   这段时间也在看Heritrix
有时间一起交流,交流 2 楼 O.Lions 2007-07-23   最近也是因为工作的原因学习Heritrix，试着Lucene+Heritrix 来开发一个全站搜索的功能， Heritrix的功能强大 但是配置起来却有点麻烦， 而且因为硬件的原因  遇到很大麻烦 希望以后的开发过程中 有机会交流 3 楼 johnnyhg 2007-07-23   Heritrix其实并没有我想像中那么强大和好用，提供的功能没有nutch多，有点整站下载的味道（从这个方面来说和网络快车提供的整站下载又有什么区别呢？）。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。所以用Heritrix的人可要注意了。

最好用之前跟Nutch仔仔细细对比一遍之后再做决定。 4 楼 suyejun 2007-10-23   正在学习怎么把抓取的内容跟lucene结合使用 5 楼 liu_xingjian 2007-11-16   选择"Modules"右边的"Submodules
这个Submodules能不能讲解的详细些啊，现在用1.12.1版本 6 楼 pzhifeng 2007-11-23   很奇怪运行起来之后，Modules下各种预设置没有修改项出来。

查看更多 下一篇