码迷,mamicode.com
首页 > 其他好文 > 详细

三、HDFS相关概念

时间:2016-05-08 10:16:48      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:

1、HDFS中NameNode的启动过程:

步骤1:namenode启动时,首先将fsimage(镜像)载入内存,并执行editlog日志的各项操作

步骤2:内存中建立起元数据映射,则创建一个新的fsimage和空的editlog

步骤3:等待datanode注册与发送数据块信息

2、HDFS中NameNode元数据本地磁盘存储目录如何配置以及DataNode存储数据的本地磁盘目录如何配置

1)NameNode元数据存储目录配置

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/name</value>
</property>

2)DataNode元数据存储目录配置

<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/data</value>
</property>

3、存储在HDFS上的文件的存储机制及数据安全性如何保证

1)HDFS存储机制

hdfs采用主从架。namenode是元数据节点,该节点用来管理文件系统中的命名空间;datanode是数据节点,真正存储数据的地方,以数据块的形式进行存储,每个数据块大小默认为128M。

2)数据安全性

NameNode在启动的时候首先进入安全模式,如果 datanode 丢失的block达到一定的比例(默认为0.999),则系统会一直处于安全模式状态即只读状态,当超过这个阈值,才可以离开安全模式。

三、HDFS相关概念

标签:

原文地址:http://www.cnblogs.com/really0612/p/5469812.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!