小记---------Hadoop读、写文件步骤，HDFS架构理解

标签：一个   之间   队列   分布式应用   字节   连通   mis   告诉   文件写入   

 

 

 

1.     namespaceID：是文件系统的唯一标识符，在文件系统首次格式化之后生成的
2. cTime：表示NameNode存储时间的创建时间，NameNode更新之后，此处的值 为更新时间戳。
3. storageType:存储的是什么进程的数据结构信息（如果是DataNode，storageType=DATA_NODE）
4. clusterID：是系统生成或手动指定的集群ID（集群所有节点都相同）

 

 

 

1. Secondary NameNode请求NameNode进行edit log的滚动（即创建一个新的edit log）将新的编辑操作记录到新生成的edit log文件；
2. 通过http get方式，读取nameNode上的fsimage和edit文件，到Secondary NameNode上
3. 读取fsimage到内存中，即加载fsimage到内存，然后执行edits中所有操作，并生成一个新的fsimage文件，即这个检查点被创建
4. 通过http post方式，将新的fsimage文件传送到namenode
5. Namenode使用新的fsimage文件替换原来的fsimage文件，让1,创建的edits替代原来的edits文件，并且更新fsimage文件的检查点时间，整个处理过程完成。
6. Secondary nameNode 的处理，是将fsimage和的its文件周期合并，不会造成NameNode重启时造成长时间不可访问的情况。

 

 

 

1. client端通过DistributedFileSystem对象的open函数调用Namenode请求文件块所在的位置（三个副本位置都会获取到），然后返回给client端。
2. client端在FSDataInputSteam调用read函数，然后连接文件第一个块最近的DataNode，第一个读取完毕后，再查找存储下一个块所在最近的DataNode，直到整个文件块读取完毕后，返回给client端，并关闭读流close函数

 

 

1. client端通过调用DistributedFileSystem对象中的create()函数在NameNode的文件系统命名空间中创建一个新文件。
2. Namenode会通过多种验证保证新的文件不存在文件系统中，并且确保请求client端拥有创建文件的权限。当所有验证通过时，NameNode会创建一个新文件的记录，如果创建失败则抛处IOException异常；如果成功，则DistributedFileSystem返回一个FSDataOutputStream给client端用来写入数据。其中FSDataOutputStream包含一个数据流对象DFSOutputStream，client端将使用它来处理和DataNode即NameNode之间的通信。
3. 当client端写入数据时，DFSOutputStream会将文件分割成包，然后放入一个内部队列，我们成为“数据队列”
4. DataStream会将这些小的文件包放入数据流中，DataStreamer的作用是请求NameNode为新的文件包分配合适的DataNode存放副本，返回的DataNode列表形成一个“管道”，

1.   HDFS首先会关闭管道。
2.  然后在确认通知队列中的文件包都会被添加到数据队列的前端，当前存放于正常工作的DataNode之上的文件块会被赋予一个新的身份，并且和NameNode进行关联。
3. 失败的DataNode过段时间从故障中恢复过来，之前存放进去的部分数据块会被删除，然后管道把失败的DataNode删除
4. 在步骤2中的文件块继续被写到管道中的另外两个DataNode中
5. 最后NameNode会注意到现在的文件块副本数没有达到配置属性要求，会在另外的DataNode上重新安排创建一个副本，随后的文件会正常执行写入操作

1. 重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题，
2. 先删除主节点（namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log中的内容（删除内容，而不是删除文件夹）
3. 删除所有数据节点（datanode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log中内容
4. 格式化一个新的分布式文件系统

• Hadoop的临时存储目录tmp（即core-site.xml配置文件中的hadoop.tmp.dir属性，默认值是/tmp/hadoop-${user.name}）,如果没有配置hadoop.tmp.dir属性，那么hadoop格式化时将会在/tmp目录下创建一个目录
• Hadoop的namenode元数据目录（即hdfs-site.xml配置文件中dfs.namenode.name.dir属性，默认值是${hadoop.tmp.dir}/dfs/name）,同意如果没有配置该属性，那么hadoop在格式化时将自行创建，
• 必须注意格式化前必须清楚所有子节点（DataNode节点）dfs/name 下的内容，否则在启动hadoop时子节点的守护进程会启动失败。因为如果该文件内容存在，格式化时就不会重新创建该目录，则clusterID ,namespaceID与主节点（namenode）不一致，从而hadoop启动失败

• bin ： Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop
• etc ： Hadoop配置文件所在的目录，包括core-site.xml  、hdfs-site.xml 、mapred-site.xml 等从Hadoop1.0继承而来的配置文件和yam-site.xml等Hadoop2.0新增的配置文件
• include ： 对外提供的变成库头文件（具体动态库和静态库在lib目录中），这些头文件均是用c++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
• lib ： 该目录包含了Hadoop对外提供的变成动态库和静态库，与include目录中的头文件结合使用
• libexec ： 各个服务对用的shell 配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
• sbin ： Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本
• share ： Hadoop各个模块编译后的jar包所在目录

 1 <configuration>
 2     <property>
 3          <name>fs.defaultFS</name>
 4          <value>hdfs://master:9000</value>
 5          <description> 
 6             master为服务器IP地址，其实也可以使用主机名                               </description>
 7      </property> 
 8     <property>
 9          <name>io.file.buffer.size</name> 
10         <value>131072</value>
11          <description>
12             该属性值单位为KB，131072KB即为默认的64M
13         </description>
14      </property> 
15 /configuration>

 1 <configuration>
 2     <property> 
 3          <name>dfs.replication</name>
 4          <value>1</value>
 5          <description>分片数量，伪分布式将其配置成1即可</description>
 6      </property>
 7      <property>
 8          <name>dfs.namenode.name.dir</name>
 9          <value>/usr/local/hadoop/tmp/namenode</value>
10          <description>命名空间和事务在本地文件系统永久存储的路径</description> 
11     </property> 
12     <property> 
13          <name>dfs.namenode.hosts</name>
14          <value>slaver1, slaver2</value>
15          <description>datanode1, datanode2分别对应DataNode所在服务器主机名</description>
16      </property>
17      <property>
18          <name>dfs.blocksize</name>
19          <value>268435456</value> 
20          <description>大文件系统HDFS块大小为256M，默认值为64M</description>
21      </property>
22      <property> 
23          <name>dfs.namenode.handler.count</name>
24          <value>100</value>
25          <description>更多的NameNode服务器线程处理来自DataNodes的RPCS</description>
26      </property>
27  </configuration>

1 <configuration>
2     <property>
3          <name>dfs.datanode.data.dir</name>
4          <value>file:/usr/local/hadoop/tmp/datanode</value>
5          <description>DataNode在本地文件系统中存放块的路径</description>
6      </property>
7  </configuration>

 1 <configuration>
 2     <property>
 3          <name> mapreduce.framework.name</name>
 4          <value>yarn</value>
 5          <description>执行框架设置为Hadoop YARN</description>
 6      </property>
 7      <property>
 8          <name>mapreduce.map.memory.mb</name>
 9          <value>1536</value>
10         <description>对maps更大的资源限制的</description>
11      </property>
12      <property>
13          <name>mapreduce.map.java.opts</name>
14          <value>-Xmx2014M</value>
15          <description>maps中对jvm child设置更大的堆大小</description>
16      </property>
17 <property>
18         <name>mapreduce.reduce.memory.mb</name>
19          <value>3072</value>
20          <description>设置 reduces对于较大的资源限制</description>
21      </property> 
22     <property> 
23         <name>mapreduce.reduce.java.opts</name>
24         <value>-Xmx2560M</value> 
25         <description>reduces对 jvm child设置更大的堆大小</description>
26     </property>
27      <property>
28          <name>mapreduce.task.io.sort</name> 
29         <value>512</value>
30         <description>更高的内存限制，而对数据进行排序的效率</description> 
31     </property>
32      <property>
33          <name>mapreduce.task.io.sort.factor</name>
34          <value>100</value>
35          <description>在文件排序中更多的流合并为一次</description>
36      </property>
37     <property>
38          <name>mapreduce.reduce.shuffle.parallelcopies</name>
39          <value>50</value>
40          <description>通过reduces从很多的map中读取较多的平行副本</description>
41      </property>
42  </configuration>

小记---------Hadoop读、写文件步骤，HDFS架构理解

标签：一个   之间   队列   分布式应用   字节   连通   mis   告诉   文件写入   

原文地址：https://www.cnblogs.com/yzqyxq/p/11606641.html