首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

hadoop配备纪要

2012-09-12 
hadoop配置纪要1.回收站设置,以防勿操作conf/core-site.xmlpropertynamefs.trash.interval/nameval

hadoop配置纪要

1.回收站设置,以防勿操作conf/core-site.xml<property>        <name>fs.trash.interval</name>        <value>1440</value></property> 默认是0.单位分钟。这里我设置的是1天(60*24)删除数据rm后,会将数据move到当前文件夹下的.Trash目录2. hdfs.site.xml<property>        <name>dfs.hosts</name>        <value>/usr/local/hadoop-0.20.2/conf/include</value>        <final>true</final></property><property>        <name>dfs.hosts.exclude</name>        <value>/usr/local/hadoop-0.20.2/conf/exclude</value>        <final>true</final></property>配置许可/拒绝DataNode列表。dfs.hosts  许可dfs.hosts.exclude 拒绝 3.处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=40004. Namenode in safe mode执行:bin/hadoop dfsadmin -safemode leave5.java.net.NoRouteToHostException: No route to host解决方法:sudo /etc/init.d/iptables stop

热点排行