Nutch有关框架视频教程4

Nutch相关框架视频教程4

第四讲

1、? 深入分析nutch的抓取周期

inject

generate -> fetch -> parse ->updatedb

2、? 3大merge和3大read命令阐释

bin/nutch ?| ?grep merge

bin/nutch ?| ?grep read

bin/nutch ?mergesegs ?data/segments_all ?-dir?data/segments

3、? 反转链接

bin/nutch ?invertlinks ?data/linkdb ?-dir ?data/segments

4、? 解析页面

bin/nutch ?parsechecker ?http://apdplat.org