首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

[转]hive产生动态分区太多导致的有关问题

2013-07-16 
[转]hive产生动态分区太多导致的问题 .转自:http://blog.csdn.net/chenyi8888/article/details/8236726?做

[转]hive产生动态分区太多导致的问题 .

转自:http://blog.csdn.net/chenyi8888/article/details/8236726

?

做应用开发的也要帮助他们找BUG,真是头疼。遇到如下异常,度娘给出的答案如下:

?

过多的动态分区会导致job出现以下情况:

org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maintain/hive_2012-11-28_22-39-43_810_1689858262130334284/_task_tmp.-ext-10002/part=33436268/_tmp.000004_0 File does not exist. Holder DFSClient_attempt_201211250925_9859_m_000004_0 does not have any open files.

?

解决方案:

加大动态分区数即可,下面是在当前session下设置。

SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;

热点排行