hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 ...
分类：
其他好文 时间：
2020-03-04 22:29:35
阅读次数：
152
HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切 ...
分类：
其他好文 时间：
2020-03-04 09:18:04
阅读次数：
73
配置core-site.xml <configuration> <!-- 把两个NameNode）的地址组装成一个集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </proper ...
分类：
其他好文 时间：
2020-03-04 00:07:55
阅读次数：
86
HDFS如何保护高可用 1. NameNode 通过JournalNode和DFSZKFailoverController实现。 JournalNode负责主从数据一致； ZKFC负责主从的Failover(通过ssh或shell实现防止脑裂). 2. JournalNode 自生也是分布式的，因为 ...
分类：
其他好文 时间：
2020-03-03 22:24:17
阅读次数：
86
一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. ...
分类：
其他好文 时间：
2020-03-03 13:20:26
阅读次数：
95
大数据第一周：安装CentOS7 点击创建新对虚拟机。 选择典型。 指定安装源。 选择安装位置，第一个原则考虑放到不同的物理硬盘上，第二个考虑硬盘接口速度。 对于NameNode，由于我们对开发要在此节点上运行，所以硬盘空间要选择在40G以上。 硬盘文件选择单个，原因是为了提高运行速度。 为了提高安... ...
分类：
其他好文 时间：
2020-03-03 13:15:53
阅读次数：
123
HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po ...
分类：
其他好文 时间：
2020-03-02 23:06:27
阅读次数：
69
格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据，所以，格式化NameNode前，先关闭掉NameNode和DataNode，然后一定要删除data数据和log日志。最后再进行格式化。 在hadoop-2.9.2/data/tmp/ ...
分类：
其他好文 时间：
2020-03-01 14:11:34
阅读次数：
98
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
