首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > Web前端 >

Hadoop自带Web治理监控功能

2012-11-20 
Hadoop自带Web管理监控功能?????Hadoop的Web管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控

Hadoop自带Web管理监控功能

?????Hadoop的Web管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。

?

文件系统监控:

?

??????浏览文件系统;

??????namenode的日志列表以及查看日志;

??????集群的概况,包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活结点数、死节点数、namenode的存储目录及类型和状态;

??????点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称,Last Contact的值(LastContact的意思是表明DataNode有多少秒时间未向NameNode发送心跳包了),管理状态,配置容量,已使用容量,非DFS使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。

?

任务监控:

?

??????集群摘要信息(堆的大小,所占的比例),Map任务数,Reduce任务数,共有意见书,节点数量,Map任务能力,Reduce任务能力,平均任务和节点(这点我不明白什么意思,原文:Avg. Task/Node),列入黑名单的节点;

??????调度信息:队列名称,调度信息;

??????过滤查询:可根据Jobid,优先级,用户名等信息查询任务;

??????可以查看正在运行,已经完成或者执行失败的Job的信息:状态,完成所需时间,该Job的map和reduce信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);

??????还有各种数据的统计包括Job、FileSystem、Map-Reduce Framework,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下:


Hadoop自带Web治理监控功能

热点排行