码迷,mamicode.com
首页 > 其他好文 > 详细

HDFS详细分析二

时间:2015-07-02 06:26:35      阅读:119      评论:0      收藏:0      [点我收藏+]

标签:

1)HDFS读过程

DistributedFileSystem -> FSDataInputStream -> DFSClient.open(RPC通信机制) -> NN.open
 
HDFS写过程
DIstributedFileSystem -> FSDataOutputStream -> DFSClient.create(RPC通信机制) -> NN.create
 
2)SecondaryNamenode的作用与机制
SecondaryNamenode不是完全意义上的Namenode的一个备份
拉取FSimage和edits文件在SNN的内存中进行合并
fs.checkpoint.period
fs.checkpoint.size
fs.checkpoint.dir
 
 
checkpoint node (和secondaryNamenode一致,Hadoop2中secondaryNamenode已被此替代)
 
backup node 完全意义上的Namenode备份
 
 
3)一旦丢失Namenode或者元数据信息,我们可以通过SecondaryNamenode的检查点目录回复我们的元数据信息
hadoop namenode -importCheckpoint
hadoop-daemon.sh start namenode
 
4)机架感知
默认情况下所有的Datanode认为是处于同一个机架,不管物理上是否处于用一个机架
/default-rack
如果需要配置真正的网络拓扑结构,需要配置以下文件:
topology.script.file.name属性值是一个脚本,这个脚本里面写的是真正意义上的网络拓扑结构
/d1/reck1/dn1

 

HDFS详细分析二

标签:

原文地址:http://www.cnblogs.com/litaiqing/p/4614971.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!