a.含义： 客户端只能进行查看，不能进行写入、删除操作 b.作用: 检查NameNode启动后进入安全模式，检查数据块和DN的完整性 1. 副本数达到要求的block块数占所有block块总数的比例是否达到配置要求 配置项: dfs.namenode.replication.min : 副本数最小要 ...
分类：
其他好文 时间：
2019-09-19 22:02:28
阅读次数：
133
其中的fsimage 称为时点备份，又叫磁盘镜像快照，这个是NameNode的一个 持久化的方式之一：缺点，在内存数据序列化的时候比较慢 具体的过程：因为我们所知道的NameNode一般是存储在内存中的，并没有和磁盘进行交互，这和redis这类的非关系型数据库差不多，但是内存中的数据总是没有持久化的 ...
分类：
其他好文 时间：
2019-09-17 12:27:06
阅读次数：
106
最近，我在学习搭建hadoop集群，可是搭建完成后当使用start-all.sh启动hadoop的时候，会发现用jps测试的时候一切均显示正常，但通过Hadoop指令向hdfs上传输文件的时候，会报错表示datanode没有正常启动， 在网上找了一些博客讲述是可能防火墙没关，还有就是删除hadoop ...
分类：
其他好文 时间：
2019-09-16 11:55:30
阅读次数：
95
secondary namenode NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？对很多初学者来说是非常迷惑的。它为什么会出现在HDFS中。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不 ...
分类：
其他好文 时间：
2019-09-14 22:47:38
阅读次数：
139
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
介绍：<!--more--> HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 HDFS 设计原理 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 ...
分类：
其他好文 时间：
2019-09-14 19:38:43
阅读次数：
162
1.hadoop1.x和hadoop2.x区别 2.组件介绍 HDFS架构概述1)NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.2)DataNode(dn): 在本地文件系统存储文件块数 ...
分类：
其他好文 时间：
2019-09-13 15:50:23
阅读次数：
112
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNo
分类：
其他好文 时间：
2019-09-09 00:01:51
阅读次数：
119
在NameNode中的Namespace管理层是负责管理整个HDFS集群文件系统的目录树以及文件与数据块的映射关系。以下就是Namespace的内存结构： 以上是一棵文件目录树，可见Namespace本身其实是一棵巨大的树。在这棵树中INodeFile表示文件，INodeDirectory表示文件目 ...
分类：
其他好文 时间：
2019-09-08 20:24:36
阅读次数：
162
