Hadoop高可用原理及环境搭建

标签：方案   完全   cti   http   数据   环境   完全分布式   control   url   

一、说明

　　本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。

二、原理

　　Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有对应的解决方案：

　　对于单点故障，Hadoop2.X中实现主备模式，有两个NameNode节点，去除之前Hadoop1.X中的SecondaryNameNode节点，用actived和standby状态区分主备机，也就是有两台NameNode主机，一台对外提供服务(actived)，另一台处于待命状态（standby），两个NameNode节点有一下几点需要说明：

　　1、DataNode共享：两台NameNode存储数据都在同样的DataNode集群

　　对于两台主机的状态监测，采用ZK(zookeeper)管理，ZK中ZKFC（zookeeper failover controller）对两台NameNode进行健康检测，ZKFC对应NameNode节点会在zookeeper中抢占锁(向zookeeper创建一个节点，如果已经被创建，说明对方已经抢占锁，自己只能是standby状态)来决定自己处于actived状态还是standby状态，如果

Hadoop高可用原理及环境搭建

标签：方案   完全   cti   http   数据   环境   完全分布式   control   url   

原文地址：https://www.cnblogs.com/zmanzi/p/10821161.html