码迷,mamicode.com
首页 > 其他好文 > 详细

BigData<7>_HDFS深入

时间:2019-09-08 09:55:16      阅读:72      评论:0      收藏:0      [点我收藏+]

标签:相同   效率   客户端   读数   check   读写   结构   配置   alt   

1. 副本摆放机制

机架感知策略:
由于处于不同的机架的两个节点在通信的时候需要通过交换机,而同一机架上的节点之间的通信网络带宽更高,效率更高,读写成本更低。
通常情况下,HDFS默认的副本系数为3:
副本1:本rack的一个节点上
副本2:另外一个rack的节点上
副本3:与2相同的rack的另外一个节点上
or
副本1:本rack的一个节点上
副本2:本rack的另外一个节点上
副本3:另外一个rack的节点上

2. 客户端写数据到HDFS的流程

技术图片

3. 客户端读数据流程

技术图片

4. HDFS Checkpoint

HDFS的元数据管理
元数据:就是HDFS的目录结构以及每个文件的Block信息(BlockID,副本系数,block存放在哪些DataNode上)
元数据存放在什么地方?对应的配置${hadoop.tmp.dir}/name/.....
元数据存放在文件中

/test1
/test1/a.txt
/test2
/test2/1.txt
/test2/2.txt
/test2/xxx

BigData<7>_HDFS深入

标签:相同   效率   客户端   读数   check   读写   结构   配置   alt   

原文地址:https://www.cnblogs.com/isguoqiang/p/11484149.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!