hadoop官网关于HDFSHA包括两种方式:QJM（quorumjournalmanager）和NFS，本文档只考虑QJM一种方式的部署，NFS方式可以参考文档(HAwithNFS)。HDFSHA(namenode）主要应对以下两种情况：Inthecaseofanunplannedeventsuchasamachinecrash,theclusterwouldbeunavailableuntilanoperat..
分类：
其他好文 时间：
2016-07-22 14:59:59
阅读次数：
345
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failov ...
分类：
其他好文 时间：
2016-07-15 20:39:31
阅读次数：
183
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继 ...
分类：
其他好文 时间：
2016-07-15 20:04:58
阅读次数：
186
Deployment Upgrade Monitoring Container network monitoring Multitenancy Authorization and authentication API rate limiting High availability Master hi ...
分类：
Web程序 时间：
2016-07-10 18:13:40
阅读次数：
179
1 nginx负载均衡高可用
1.1 什么是负载均衡高可用
nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。
为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“I am alive”这样的信息来监控对...
分类：
Web程序 时间：
2016-07-03 19:37:37
阅读次数：
246
1、HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。常使用"heartbeat"开源软件实现H... ...
分类：
其他好文 时间：
2016-06-04 10:43:01
阅读次数：
284
nginx-reverse-proxy-conf 研究了一套完整的分布式服务器集群架构方案。 0x01.大型网站演化 简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 集群主要分为：高可用集群(High Availability Cluste ...
分类：
其他好文 时间：
2016-05-28 20:27:08
阅读次数：
159
一、背景HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。
有两种方式会影响集群的整体可用性：
1. 意外的突发事件，比如物理机器crash，集群将不可用，直到管理员重启Namenode。
2. 系统维护，比如软件升级等，需要关闭Namenode，也会导致集群暂时性的失效。...
分类：
其他好文 时间：
2016-05-16 13:01:09
阅读次数：
259
摘要
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。
Broker
F...
分类：
其他好文 时间：
2016-05-12 13:27:15
阅读次数：
238
摘要
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failo...
分类：
其他好文 时间：
2016-05-12 13:19:28
阅读次数：
232
