欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
heartbeat+drbd+mysql是一种早期的mysql高可用技术。资料来源：http://www.drbd.orgDRBD原理:DRBD是对磁盘块操作的复制，可看做网络raid1。不复制磁盘内容，只复制操作。原理可见下图架构描述服务器列表 192.168.1.82192.168.1.1...
分类：
数据库 时间：
2014-07-03 00:37:22
阅读次数：
584
前段时间挖矿，将CGMiner设置为开机启动，由于各种问题系统不是很稳定，时不时的就停了L 网上查了一下，树莓派居然自带硬件的看门狗功能，立即尝试了一把，基本上能够解决我的问题 原理很简单： 看门狗（Watchdog）需要不停的喂骨头（heartbeat） 如果在规定的时间内都没有喂（默认15秒），...
分类：
其他好文 时间：
2014-07-01 23:40:22
阅读次数：
637
这是一个先进实用的架构，采用了haproxy、lvs、keeplived进行负载均衡，使用couchbase、squid进行缓存，使用mysql数据库主从方式，使用lucene搜索等技术，提供了HA、HP的服务性能，值得采纳。对用JAVA开发的项目来说，根据“成熟稳定、先进科学、实用可靠“的原则，可以使用这样一种架构，采用多个集群来保证系统的高性能、高可靠性、伸缩性、可维护性和安全的需要，服务器可以线性扩展，使用开源免费软件和廉价服务器，提供极高的性价比。...
分类：
其他好文 时间：
2014-06-29 23:11:10
阅读次数：
729
应用和数据库发展cluster还需要HA软件吗？所谓集群技术（cluster），也有译为群集，涵盖了三个技术方向：高可用HA（HighAvailability）;负载均衡LB（LoadBalance）;高性能运算HPC（HighPerformanceComputing）。对于商业领域的IT应用主要关心高可用HA和负载均衡LB这两部分。为..
分类：
数据库 时间：
2014-06-28 06:49:09
阅读次数：
396
HA Resource:资源FailOver:故障转移FailBack：故障转回资源粘性：资源是否倾向于留在当前节点Messaging Layer:集群服务信息层，基于UDP互相传递心跳信息，集群事务信息等 heartbeat(v1,v2,v3) heartbeat v3:heartbeat...
分类：
其他好文 时间：
2014-06-27 18:18:52
阅读次数：
195
toolbar: [{ text: "添加", iconCls: 'icon-add', handler: addWeekPlan, id: 'WeekPlan_AddBtn' }]$('#WeekPlan_Ad...
分类：
其他好文 时间：
2014-06-26 16:14:56
阅读次数：
315
veridata实验举例（3）验证veridata查找出insert操作导致的不同步现象
续接：《veridata实验举例（2）验证表BONUS与表SALGRADE两节点同步情况》，地址：点击打开链接
环境：
Item
Source System
Target System
Platform
Red Ha...
分类：
其他好文 时间：
2014-06-26 12:04:05
阅读次数：
331
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
环境：虚拟机VMwareworkstation9操作系统：Redhat5.6i386一、keepalived+LVS-DR模式配置高可用负载均衡拓扑如下：二、服务器IP配置信息四台服务器均有VMware虚拟机实现，两台HA主机、两台web服务器。网络方式都设置为NAT模式1、master：192.168.80.1452、slaver：192.168.80.13..
分类：
其他好文 时间：
2014-06-25 06:12:46
阅读次数：
430
