码迷,mamicode.com
首页 > 其他好文 > 详细

block块的学习

时间:2019-02-24 15:05:59      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:default   相关   single   查找   blocks   小文件   存储   def   ado   

块block
块的默认大小128M
块的副本数3

配置文件 hdfs-site.xml 

配置信息从官网查询

浏览器输入hadoop.apache.org

技术图片

点击Learn more 出来以下页面病点击Single Node Setup  单节点部署技术图片

 

点击单节点部署以后出来以下页面,在最左下角查找相关文件的默认文件,比如我们要找 hdfs-site.xml ,所以我们点击hdfs-default.xml ,然后按ctrl+f查找dfs.blocksize块大小和dfs.replication副本数

 

技术图片

<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

比如一个文件260M
(生产上 hdfs不适合存储小文件?为什么不合适?如果真的有小文件,该怎么办?该怎么合并)
将文件以块的方式分割,去存储

实际存储 规格
块A: 128M 128M A0 A1 A2  A是块的3个副本
块B: 128M 128M B0 B1 B2
块C: 4M 128M C0 C1 C2

每个瓶子容量128ml 一碗水260ml
A 128ml
B 128ml
c 4ml

面试题:
一个文件160m,块大小128m,副本数2。
请问实际几个块,实际物理存储多少?
128m +128m
32m + 32
4个块: 160/128=1...32(进1,为2) 2*2=4

160m *2 =320m

block块的学习

标签:default   相关   single   查找   blocks   小文件   存储   def   ado   

原文地址:https://www.cnblogs.com/xuziyu/p/10426186.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!