Hadoop错误：n must be positive

Hadoop异常：n must be positive
测试HDFS 5000万个文件场景时，看到Datanode的log上不断的报如下异常

11/11/10 00:00:00 ERROR datanode.DataNode: DatanodeRegistration(172.17.1.23:50010, storageID=DS-857985192-202.106.199.37-50010-1320820941090, infoPort=8083, ipcPort=50020):DataXceiver java.lang.IllegalArgumentException: n must be positive         at java.util.Random.nextInt(Random.java:250)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.getNewBlockScanTime(DataBlockScanner.java:284)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.addBlock(DataBlockScanner.java:301)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:372)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:103)         at java.lang.Thread.run(Thread.java:662)

经过跟踪，发现问题是出在DataBlockScanner内：

    long period = Math.min(scanPeriod,                            Math.max(blockMap.size(),1) * 600 * 1000L);    return System.currentTimeMillis() - scanPeriod +            random.nextInt((int)period); 

当BlockMap特别大的时候，比如我这里上传了5000万个文件，每个文件4KB,该数值会大于Integer.MAX 小于Long.MAX,强制转换成int会负数，导致nextInt抛出异常。
该处修改，只需要把

random.nextInt((int)period)

，替换成

random.nextInt(Math.abs((int)period))

即可。

后来又发现Hadoop已经有人提这个bug了，https://issues.apache.org/jira/browse/HDFS-2541

查看更多 下一篇