Hadoop 控制split尺寸
三个参数决定Map的Split尺寸
1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size
根据公式:
max(minimumSize,min(maximumSize,blockSize))
默认情况:
minimumSize < blockSize < maximumSize
例子:
min max block split
1M 100M 64M 64M
128M 512M 64M 128M
1M 32M 64M 32M
