1.说明： Spark Standalone 集群是Master--Slaves架构的集群模式，和大部分的Master--Slaves 结构集群一样，存在着Master单点故障的问题。Spark提供了两种解决方案去解决这个单点故障的问题； 方案一：基于文件系统的单点恢复 主要用于开发或测试环境，sp ...
分类：
其他好文 时间：
2018-12-04 11:23:35
阅读次数：
10140
目录: 集群规划 HDFS HA 冒烟测试 功能特性 集群规划： 负载类型 容量规划 可扩展性 角色分离 管理节点 Master节点 Worker节点 边缘节点 Master节点 Worker节点 边缘节点 HDFS HA（高可用） 架构原理见下图： 冒烟测试： 详细说明参见之前的博客：https: ...
分类：
其他好文 时间：
2018-11-12 18:37:05
阅读次数：
222
MySQL Replication 概述 集群的主要类型？ 高可用集群（High Available Cluster， HA） 高可用集群是指通过特殊的软件把独立的服务器连接起来，组成一个能够提供故障切换（Ｆａｉｌ Ｏｖｅｒ）功能的集群 如何衡量高可用？ MySQL常用的集群架构 MySQL Rep ...
分类：
数据库 时间：
2018-10-22 14:40:34
阅读次数：
185
安装ha软件 一、安装软件 最稳定的版本是5.4.0,优先安装稳定版本5.4 安装依赖于包base.data, cluster的man包安装失败原因是缺少base.data包 安装所有cluster.开头的包，可以不安装cluster.man 包 二、打ha补丁 打补丁之前先执行指令：inutoc生 ...
分类：
其他好文 时间：
2018-10-13 16:52:12
阅读次数：
214
搭建HA（高可用）模式的集群参见（http://blog.cheyo.net/92.html） 转自：http://www.it165.net/admin/html/201407/3465.html 社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述Name ...
分类：
其他好文 时间：
2018-09-27 15:33:09
阅读次数：
190
1、UpdateStateByKey、windows等有状态的操作时，自动进行checkpoint,必须设置checkpoint目录，数据保留一份在容错的文件系统中，一旦内存中的数据丢失，可以从文件系统中读取数据，不需要重新计算。 SparkStreaming.checkpoint("hdfs:// ...
分类：
其他好文 时间：
2018-09-20 23:53:12
阅读次数：
424
HDFS HA高可用 1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2018-08-29 13:56:07
阅读次数：
132
1、概念：Eureka 服务发现框架 2、具体内容 对于服务发现框架可以简单的理解为服务的注册以及使用操作步骤，例如：在 ZooKeeper 组件，这个组件里面已经明确的描述了一个服务的注册以及发现操作流程，在整个 Rest 架构里面，会存在有大量的微服务的信息。 在 SpringCloud 之中使 ...
分类：
编程语言 时间：
2018-08-27 14:53:06
阅读次数：
217
1.高可用 （High Availability，简称 HA） 高可用性是指提供在本地系统单个组件故障情况下，能继续访问应用的能力，无论这个故障是业务流程、物理设施、IT软/硬件的故障。最好的可用性， 就是你的一台机器宕机了，但是使用你的服务的用户完全感觉不到。你的机器宕机了，在该机器上运行的服务肯 ...
分类：
其他好文 时间：
2018-08-19 23:20:39
阅读次数：
317
