Hadoop实战-中高级一部分 之 Hadoop 管理

Hadoop实战-中高级部分 之 Hadoop 管理

?

Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装Hadoop RPC?命令选项描述-report报告文件系统的基本信息和统计信息。-refreshNodes重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。-finalizeUpgrade终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。命令选项描述-metasave filename保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项，<filename>中都会一行内容与之对应?
1. Namenode收到的Datanode的心跳信号?
2. 等待被复制的块?
3. 正在被复制的块?
4. 等待被删除的块-setQuota <quota> <dirname>...<dirname>为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数，强制限定了目录树下的名字个数。?
命令会在这个目录上工作良好，以下情况会报错：
1. N不是一个正整数，或者?
2. 用户不是管理员，或者?
3. 这个目录不存在或是文件，或者?
4. 目录会马上超出新设定的配额。-upgradeProgress status | details | force请求当前系统的升级状态，状态的细节，或者强制升级操作进行。-clrQuota <dirname>...<dirname>为每一个目录<dirname>清除配额设定。?
命令会在这个目录上工作良好，以下情况会报错：
1. 这个目录不存在或是文件，或者?
2. 用户不是管理员。?
如果目录原来没有配额不会报错。命令说明-refreshServiceAcl重新装载ACL认证文件-refreshQueues刷新任务队列的信息-refreshUserToGroupsMappings刷新用户与用户组对应关系-refreshSuperUserGroupsConfiguration刷新用户组的配置-refreshNodes刷新JobTracker的主机配置信息?????属性说明security.clinet.protocol.acl控制访问HDFS的权限security.datanode.protocol.acl?控制datanode到namenode的通信权限?security.clinet.datanode.protocol.acl用户block恢复security.namenode.protocol.acl控制sencondary namenode与datanode权限security.inter.datanode.protocol.acl?DataNode之前更新时间戳security.task.umbilical.protocol.acl控制task与tasktracker通信security.refresh.policy.protocol.acl控制更新作业管理配置文件security.jobsubmission.protocol.acl控制作业提交等权限??日志监控?设置日志级别?在调试过程中非常的有用?设置方式?页面?命令行?hadoop? daemonlog –setlevel? jobtrackerhost-50030 packege level?持久改变?log.logger.org.apache.hadoop.mapred.JobTracker= level?获得运行栈的信息?http://namenode:50070/stacks
? 转载请注明出处【?http://sishuok.com/forum/blogPost/list/0/5966.html】

查看更多 下一篇