一、Spark支持的安装模式: 1、伪分布式(一台机器即可) 2、全分布式(至少需要3台机器) 二、Spark的安装配置 1、准备工作 安装Linux和JDK1.8 配置Linux:关闭防火墙、主机名、免密码登陆 2、安装部署Spark 解压:tar z-xvf spark-2.1.0-bin-ha ...
分类:
其他好文 时间:
2018-07-15 13:50:23
阅读次数:
143
集群相关概念简述 HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。 1、集群的分类: LB:负载均衡集群 lvs负载均衡 nginx反向代理 HAProxyHA: 高可用集群 heart ...
分类:
其他好文 时间:
2018-07-15 12:05:15
阅读次数:
203
Rancher-Kebernetes安装文档 版本: rancher: V1.6 docker: V1.12.3 mysql: mysql HA部署的要求: 一、rancher server节点: 1、8G或者16G及以上 二、rancher agent節點要求: 1、支持docker的linux系 ...
分类:
其他好文 时间:
2018-07-14 18:45:48
阅读次数:
221
下载地址: "网盘下载" 《高可用性的HDFS:Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(HDFS)的主流HA解决方案,内容包括:HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案C ...
分类:
其他好文 时间:
2018-07-14 18:25:14
阅读次数:
146
HA 集群搭建的难度主要在于配置文件的编写, 心细,心细,心细! ha模式下,secondary namenode节点不存在... 集群部署节点角色的规划(7节点) server01 namenode zkfcserver02 namenode zkfcserver03 resourcemanage ...
分类:
其他好文 时间:
2018-07-13 22:18:23
阅读次数:
167
HDFS HA Namenode HA 详解 hadoop2.x 之后,Clouera 提出了 QJM/Qurom Journal Manager,这是一个基于 Paxos 算法(分布式一致性算法)实现的 HDFS HA 方案,它给出了一种较好的解决思路和方案,QJM 主要优势如下: 不需要配置额外 ...
分类:
其他好文 时间:
2018-07-13 21:08:06
阅读次数:
221
1、实现调度器的HA 2、对realserver做健康检测 3、动态维护IPVS路由表 pulse 活跃和备用lvs路由器中都会运行pulse守护进程,在备用路由器中,pulse向活跃的服务器的公共接口发送一个heartbeat来确定活跃路由器依然正常工作,在活跃服务器中,pulse启动lvs守护进 ...
分类:
其他好文 时间:
2018-07-13 01:11:17
阅读次数:
122
redis中的sentinel的作用? Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一 ...
分类:
其他好文 时间:
2018-07-12 21:46:59
阅读次数:
152
HA Cluster的配置前提: (1) 各节点时间必须同步; ntp, chrony (2) 确保iptables及selinux不会成为阻碍; (3) 各节点之间可通过主机名互相通信(对KA并非必须); 建议使用/etc/hosts文件实现; (4) 确保各节点的用于集群服务的接口支持MULTI ...
分类:
其他好文 时间:
2018-07-12 20:08:22
阅读次数:
182
一、集群相关概念简述 HA 是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。 1、集群的分类: LB:负载均衡集群 lvs负载均衡 nginx反向代理 HAProxy HA:高可用集群 he ...
分类:
其他好文 时间:
2018-07-12 20:05:35
阅读次数:
233