提升Heritrix3.1.1的抓取效率? !-- property nameminDelayMs value3000 / --? !-- property n
提升Heritrix3.1.1的抓取效率
? <!-- <property name="minDelayMs" value="3000" /> -->
? <!-- <property name="respectCrawlDelayUpToSeconds" value="300" /> -->
? <property name="maxDelayMs" value="0" />
? <!-- <property name="maxPerHostBandwidthUsageKbSec" value="0" /> -->
?</bean>
实战结果统计为：
0.57 URIs/sec (0.64 avg); 35 KB/sec (28 avg)
而之前这个值为：
?0.1 URIs/sec (0.07 avg)?????? 6 KB/sec(4 avg)
提升了5倍左右