Nutch 1.0源代码分析(4): Parse
removed }
类Fetch:866行也做了这个操作。这个跟Parse阶段的有什么区别呢 2 楼 store88 2010-12-06 因为Fetch中的输出类FetcherOutputFormat 也包含了ParseOutputFormat
我很困惑 3 楼 littleleaves 2010-12-06 store88 写道因为Fetch中的输出类FetcherOutputFormat 也包含了ParseOutputFormat
我很困惑
谢谢你的问题,之前我也没有注意到这点。我又看了一下,你可以再看一下crawl中调用fetch和parse方法的代码,他们调用的条件是相反的。是否进行解析是在配置文件的fetcher.parse属性中设置的,如果这个值设置成true,则在fetch阶段进行parse,而不再进行单独的parse,否则就不在fetch中进行parse而在一轮抓取结束后单独parse