Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
Curator提供了对zookeeper客户端的封装，并监控连接状态和会话session，特别是会话session过期后，curator能够重新连接zookeeper，并且创建一个新的session。对于zk的使用者来说，session的概念至关重要，如果想了解更多session的说明，请访问：ht...
分类：
其他好文 时间：
2014-07-14 19:02:28
阅读次数：
254
普通的zk用法，如下写法：zk.Exists("/aaa", true);zk.Create(...);但是由于这些API会抛Zookeeper的Exception，比如ConnectionLossException, NoNodeException等，所以必须配合一堆try/catch的机制来ca...
分类：
Web程序 时间：
2014-07-12 00:58:19
阅读次数：
330
http://www.bjeea.cn/html/zk/http://zkwb.heao.gov.cn/ZKService/PageNormal/ShowZYInfo.aspx
分类：
其他好文 时间：
2014-07-09 13:27:35
阅读次数：
145
本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方...
分类：
其他好文 时间：
2014-06-14 22:56:07
阅读次数：
570
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的...
分类：
其他好文 时间：
2014-06-14 22:52:01
阅读次数：
366
原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中...
分类：
其他好文 时间：
2014-06-14 21:15:30
阅读次数：
198
Zookeeper的Client直接与用户打交道，是我们使用Zookeeper的interface。了解ZK Client的结构和工作原理有利于我们合理的使用ZK，并能在使用中更早的发现问题。本文将在研究源码的技术上讲述ZK Client的工作原理及内部工作机制。在看完ZK Client的大致架构以...
分类：
其他好文 时间：
2014-06-14 21:14:27
阅读次数：
194
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
