通过HBase client访问HBase时，配置如下：Configuration conf = HBaseConfiguration.create();// Zookeeper地址 conf.set(HConstants.ZOOKEEPER_QUORUM, "master.hadoop");//....
分类：
其他好文 时间：
2014-07-07 00:38:13
阅读次数：
250
前言: Flume-ng是数据收集/聚合/传输的组件, Flume-ng抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了. 其基础组件就Agent进程, 内部又可以细分为Source, Channel, Sink三个组件, S.....
分类：
其他好文 时间：
2014-07-07 00:26:46
阅读次数：
355
本文简单介绍了ZooKeeper的基本知识。(1)概述①什么是ZooKeeper？Zookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等②Zookeeper的角色③为什么使用Zookeeper？大部分分..
分类：
其他好文 时间：
2014-07-03 14:02:30
阅读次数：
269
基于zookeeper写了个Leader选举类库demo，场景如下：上图中的Program1..4可以部署在1台server上，也可以部署在多台server上，也可以是一个进程中的多个线程。运行效果：初始化时（4个全开）把第四个（也就是此时的Leader） 关闭后把某个Follower角色的进程关闭...
分类：
其他好文 时间：
2014-07-03 12:34:31
阅读次数：
137
在Kafka中，LogManager负责管理broker上所有的Log（每一个topic-partition为一个Log）。通过阅读源代码可知其具体完成的功能如下：
1. 按照预设规则对消息队列进行清理。
2. 按照预设规则对消息队列进行持久化（flush操作）。
3. 连接ZooKeeper进行broker、topic、partition相关的ZooKeeper操作。
4. 管理brok...
分类：
其他好文 时间：
2014-06-28 08:25:21
阅读次数：
208
http://www.zlovezl.cn/articles/40/简介： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。具体简介可以参照这....
分类：
编程语言 时间：
2014-06-26 18:43:35
阅读次数：
281
zookeeper java调用 及 权限管理...
分类：
编程语言 时间：
2014-06-26 10:30:19
阅读次数：
206
Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。1 安装环境操作系统：Ubuntu-12.04 JDK版本：jdk1.7.0_51 计算....
分类：
其他好文 时间：
2014-06-26 00:31:04
阅读次数：
302
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
