block块的学习

标签：default   相关   single   查找   blocks   小文件   存储   def   ado   

块block
块的默认大小128M
块的副本数3

配置文件 hdfs-site.xml 

配置信息从官网查询

浏览器输入hadoop.apache.org

点击Learn more 出来以下页面病点击Single Node Setup  单节点部署

点击单节点部署以后出来以下页面，在最左下角查找相关文件的默认文件，比如我们要找 hdfs-site.xml ，所以我们点击hdfs-default.xml ，然后按ctrl+f查找dfs.blocksize块大小和dfs.replication副本数

<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

比如一个文件260M
(生产上 hdfs不适合存储小文件？为什么不合适？如果真的有小文件，该怎么办？该怎么合并)
将文件以块的方式分割，去存储

实际存储 规格
块A: 128M 128M A0 A1 A2  A是块的3个副本
块B: 128M 128M B0 B1 B2
块C: 4M 128M C0 C1 C2

每个瓶子容量128ml 一碗水260ml
A 128ml
B 128ml
c 4ml

面试题:
一个文件160m,块大小128m，副本数2。
请问实际几个块，实际物理存储多少？
128m +128m
32m + 32
4个块: 160/128=1...32(进1,为2) 2*2=4

160m *2 =320m

block块的学习

标签：default   相关   single   查找   blocks   小文件   存储   def   ado   

原文地址：https://www.cnblogs.com/xuziyu/p/10426186.html