HDFS: EditLog的完整性加强

HDFS: EditLog的完整性增强

　　用户对HDFS的每步操作都会先记录到NameNode磁盘中的EditLog文件中。为了避免频繁操作磁盘对用户操作效率的影响，HDFS为EditLog在内存中分配两个buffer:一个用于接收用户操作指令；另外一个在用户想要刷新第一个buffer内数据时开始担当接收用户指令的职责。之后两块buffer不断切换角色，进行着上述操作。


　　正是因为有内存中buffer的存在，当管理员shutdown　NameNode时，就会丢失用户写入buffer且还没来得及刷新到磁盘中的那些操作记录。我们需要做的就是在NameNode加入shutdown hook，希望当NameNode接收到系统的关闭信号时，能正常刷新buffer中数据到磁盘中。

　　如果我们能改动NameNode的代码，那么就可以像这样加入：(HDFS0.21)

<property>     <name>dfs.namenode.plugins</name>     <value>org.apache.hadoop.hdfs.server.namenode.EditLogPlugin</value></property>

这样在NameNode启动后shutdown hook就会加入到系统中。

　　但需要注意的是，NameNode中的shutdown hook只有在NameNode进程可以正常拦截系统进程的情况下才可以起作用。像SIGKILL(9)这样的系统信号是不能被进程接收、处理的。所以我们对EditLog正常关闭的期望是很局限的，只有尽最大可能地保证管理脚本和管理操作中不要有“kill -9 <pid>”这样的命令。

查看更多 下一篇