码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的NameNode进入安全模式

时间:2020-05-22 17:16:55      阅读:71      评论:0      收藏:0      [点我收藏+]

标签:node节点   节点   nod   列表   bsp   状态   文件   ica   上传   

当 Hadoop的NameNode节点启动时,会进入安全模式阶段。在此阶段,DataNode会向NameNode上传它们数据块的列表,让NameNode得到块的位置信息,并对每个文件对应的数据块副本进行统计。当最小副本条件满足时,即一定比例的数据块都达到最小副本数,系统就会退出安全模式,而这需要一定的延迟时间。当最小副本条件未达到要求时,就会对副本数不足的数据块安排DataNode进行复制,直至达到最小副本数。而在安全模式下,系统会处于只读状态,NameNode不会处理任何块的复制和删除命令。

安全模式相关属性的设置:

安全模式的相关属性都在文件conf/hdfs-site.xml中指定,有如下几个:

dfs.replication.min  指定数据块要达到的最小副本数,默认为1;

dfs.safemode.extension   指定系统退出安全模式时需要的延迟时间,默认为30(秒);

dfs.safemode.threshold.pct 指定退出条件,需要达到最小副本数的数据块比例,默认是0.999

(如果设置的副本数为4,而现在只有2个副本,2/4=0.5,即视为未达到最小比例,则需要把缺少的副本数据复制到4个副本即可运行)

Hadoop的NameNode进入安全模式

标签:node节点   节点   nod   列表   bsp   状态   文件   ica   上传   

原文地址:https://www.cnblogs.com/bigdatadiary/p/12938022.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!