HA工作机制 HA:高可用(7 24小时不中断服务) 主要的HA是针对集群的master节点的,即namenode和resourcemanager,毕竟DataNode挂掉之后影响 不是特别大,重启就好了。 HDFS的HA HDFS HA功能通过配置Active/Standby两个NameNodes ...
分类:
其他好文 时间:
2019-11-21 11:42:34
阅读次数:
151
HA 高可用集群概述及其原理解析 1. 概述 1)所谓HA(High Available),即高可用(7 24小时不中断服务)。 2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS 的HA和YARN的HA。 3)Hadoop2.0之前,在HDFS集群中Name ...
分类:
其他好文 时间:
2019-10-28 01:08:29
阅读次数:
582
YARN HA配置 1. YARN HA工作机制 1.1 官方文档:http://hadoop.apache.org/docs/r2.7.2/hadoop yarn/hadoop yarn site/ResourceManagerHA.html 1.2 YARN HA工作机制,如图3 23所示 2. ...
分类:
其他好文 时间:
2019-10-27 13:12:06
阅读次数:
92
PostgreSQL HA Collect: 1.pgpool 2.Pacemaker + Corosync 3.ecox 4.Patroni: A Template for PostgreSQL HA with ZooKeeper, etcd or Consul Patroni originate ...
分类:
数据库 时间:
2019-10-21 16:03:53
阅读次数:
134
Rancher 2.x,高可用部署;RKE部署K8S;Helm安装Rancher高可用;
分类:
其他好文 时间:
2019-09-24 19:39:28
阅读次数:
1476
三、 Spark集群安装 3.1 下载spark安装包 下载地址spark官网:http://spark.apache.org/downloads.html 这里我们使用 spark-2.1.3-bin-hadoop2.7版本. 3.2 规划安装目录 /export/servers 3.3 解压安装 ...
分类:
其他好文 时间:
2019-08-26 20:47:28
阅读次数:
106
简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: 搭建步骤: 1> 关闭防火墙,禁止设置开机启动: (1) //临时关闭 systemctl stop firewalld (2) //禁止开机启动 systemctl disable firewall ...
分类:
其他好文 时间:
2019-05-29 10:40:37
阅读次数:
120
一、zookeeper 宕机 二、dubbo 直连 三、集群下 dubbo 的负载均衡配置 在集群负载均衡时,Dubbo 提供了多种均衡策略,缺省为 random 随机调用。 3.1、Random LoadBalance 3.2、RoundRobin LoadBalance 3.3、LeastAct ...
分类:
其他好文 时间:
2019-05-12 20:07:11
阅读次数:
189
MySQLHA工作原理1从宕机崩溃的master保存二进制日志事件(binlogevents)2识别含有最新更新的slave3应用差异的中继日志(relaylog)到其他的slave4应用从master保存的二进制日志事件(binlogevents)5提升一个slave为新的master6使其他的slave连接新的master进行复制环境主机IP地址类型CentOS7.6192.168.36.7M
分类:
数据库 时间:
2019-05-09 21:52:00
阅读次数:
146
1、环境介绍 服务器:CentOS 6.8 其中:2 台 namenode、3 台 datanode JDK:jdk-8u191-linux-x64.tar.gz hadoop:hadoop-3.1.1.tar.gz 节点信息: 2、配置hosts ...
分类:
其他好文 时间:
2019-01-24 00:33:28
阅读次数:
197