Hadoop自带Web管理监控功能
?????Hadoop的Web管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。
?
文件系统监控:
?
??????浏览文件系统;
??????namenode的日志列表以及查看日志;
??????集群的概况,包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活结点数、死节点数、namenode的存储目录及类型和状态;
??????点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称,Last Contact的值(LastContact的意思是表明DataNode有多少秒时间未向NameNode发送心跳包了),管理状态,配置容量,已使用容量,非DFS使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。
?
任务监控:
?
??????集群摘要信息(堆的大小,所占的比例),Map任务数,Reduce任务数,共有意见书,节点数量,Map任务能力,Reduce任务能力,平均任务和节点(这点我不明白什么意思,原文:Avg. Task/Node),列入黑名单的节点;
??????调度信息:队列名称,调度信息;
??????过滤查询:可根据Jobid,优先级,用户名等信息查询任务;
??????可以查看正在运行,已经完成或者执行失败的Job的信息:状态,完成所需时间,该Job的map和reduce信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);
??????还有各种数据的统计包括Job、FileSystem、Map-Reduce Framework,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下: