Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
by garrie 一 单词和发音 1 Mandarin 国语，普通话 Cantonese 广东话，粤语 custom patch 自定义补丁 dual 两部分的 2 happiness [ha-pi-nest] different [dif–rent] despi...
分类：
移动开发 时间：
2014-07-08 22:45:22
阅读次数：
252
# Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式环境整合，超详细哦
# 学习前言
一些基本的东西就不说了，前面已经说过，比如ssh免密码登录，时间同步等，如果不清楚的话请上面看Hadoop-1.x，或者Hadoop-2.X的搭建，那里面很详细。
本来这个早该整理完了，但是这段时间有点小忙，都没有时间去弄，不过今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307这个群哦，一...
分类：
其他好文 时间：
2014-07-08 19:25:04
阅读次数：
702
一、部署环境：服务器版本：CentOS6.5双主热备模式：VIP：192.168.3.30（MASTER上）VIP：192.168.3.32（BACKUP上）主机网络参数：接口MASTERBACKUP说明eth1192.168.3.23192.168.3.24内网管理IPeth2192.168.5.23192.168.5.24心跳线eth3192.168.2.23192.168.2.24外网（临时下载文..
分类：
其他好文 时间：
2014-07-08 09:31:20
阅读次数：
388
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
这学期选了门模式识别的课。发现最常见的一种情况就是，书上写的老师ppt上写的都看不懂，然后绕了一大圈去自己查资料理解，回头看看发现，Ah-ha，原来本质的原理那么简单，自己一開始仅仅只是被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来，供备忘，也供參考。1. K-Ne...
分类：
其他好文 时间：
2014-07-07 10:06:18
阅读次数：
253
1.常见的Oracle生产库环境：图2-1可以说是标准的生产库环境，处处体现了冗余，有效防止了单点故障。这就是HA（高可用）而且冗在某种条件下还可以去掉，平常实现同时运行提供服务，如果一台坏掉，另一台也可以继续提供完整服务。这就是LB（负载均衡）也就是说实现了HA+LB（高可用+负载均衡）还涉及一个...
分类：
数据库 时间：
2014-07-03 19:45:01
阅读次数：
290
Last_IO_Error: The slave IO thread stopsbecause the master has @@GLOBAL.GTID_MODE OFF and this server has@@GLOBAL.GTID_MODE ON...
分类：
数据库 时间：
2014-07-03 17:31:44
阅读次数：
348
那些免费却未被重视的IBMPowerHA内置功能（1）IBMPowerHA软件全名IBMPowerHASystemMirrorforAIX，（也有foribmi的版本，其实是完全不同的软件，本文不涉及），目前最新版本7.1.3。其原名HACMP，是运行在IBMPOWER小型机/AIX操作系统下的高可用/灾备软件，应用相当广泛，相信接触..
分类：
其他好文 时间：
2014-07-02 15:47:33
阅读次数：
277
这是一个先进实用的架构，采用了haproxy、lvs、keeplived进行负载均衡，使用couchbase、squid进行缓存，使用mysql数据库主从方式，使用lucene搜索等技术，提供了HA、HP的服务性能，值得采纳。对用JAVA开发的项目来说，根据“成熟稳定、先进科学、实用可靠“的原则，可以使用这样一种架构，采用多个集群来保证系统的高性能、高可靠性、伸缩性、可维护性和安全的需要，服务器可以线性扩展，使用开源免费软件和廉价服务器，提供极高的性价比。...
分类：
其他好文 时间：
2014-06-29 23:11:10
阅读次数：
729
