一、HA集群中的相关术语 1.节点（node） 运行HA进程的一个独立主机，称为节点，节点是HA的核心组成部分，每个节点上运行着操作系统和高可用软件服务，在高可用集群中，节点有主次之分，分别称之为主节点/备份节点，每个节点拥有唯一的主机名，并且拥有属于自己的一组资源，例如，磁盘，文件系 ...
分类：
其他好文 时间：
2019-03-30 10:47:57
阅读次数：
178
来源：https://blog.csdn.net/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode ...
分类：
其他好文 时间：
2019-03-16 00:26:23
阅读次数：
276
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
一、安装scala 我们安装的是scala-2.11.8 5台机器全部安装 下载需要的安装包并进行解压 配置环境变量 启动scala [root@master1 workspace]# vim /etc/profile[root@master1 workspace]# scala -version- ...
分类：
其他好文 时间：
2019-02-20 17:28:59
阅读次数：
166
部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zookeeper看是否正常(每台机器上都手动启动zookeeper)./zkServer.shstart检查zookeeper的工作状态./zkServe
分类：
其他好文 时间：
2019-02-20 09:32:14
阅读次数：
218
1:HA集群架构与VIIP工作原理：Linux高可用集群：pacemaker、keepalivedkeepalived理论工作原理：keepalived是以VRRP协议为实现基础的，VRRP全称VirtualRouterRedundancyProtocol,即虚拟路由冗余协议。虚拟路由冗余协议是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个
分类：
其他好文 时间：
2019-01-05 15:47:21
阅读次数：
264
分布式集群搭建：http://blog.51cto.com/14048416/2327802?上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。1.集群的规划（这里使用3台机器测试）2.具体搭建步骤：①如果已经使用，
分类：
其他好文 时间：
2019-01-02 12:28:31
阅读次数：
232
1.关闭防火墙 1.1 查看防火墙状态 service iptables status 1.2 关闭防火墙 service iptables off 1.3 关闭防火墙开机启动 chkconfig iptables off 2.关闭selinux vi /etc/selinux/config 将 S ...
分类：
其他好文 时间：
2018-12-12 00:20:48
阅读次数：
174
1什么是HA集群？ 所谓HA，即高可用（7*24小时不中断服务） HA集群是hadoop高可用集群，即有两个namenode，一个active，一个stanby，active的name挂掉之后，stanby的namenode就会切换成active， 最关键的是消除单节点故障 双namenode协调工 ...
分类：
其他好文 时间：
2018-11-29 15:39:38
阅读次数：
270
集群配置： jdk1.8.0_161 hadoop-2.6.1 zookeeper-3.4.8 linux系统环境：Centos6.5 3台主机：master、slave01、slave02 Hadoop HA集群搭建（高可用）： 设置静态IP地址 为普通用户添加sudo权限 服务器网络设置：NAT ...
分类：
其他好文 时间：
2018-11-23 12:31:38
阅读次数：
232
