对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence...
分类：
其他好文 时间：
2014-06-28 22:39:15
阅读次数：
1224
1.Zookeeper是什么？
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。ZooKeeper的设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。他的数据都存在内存中，所以速度非常快，当然为了避免内存数据的丢失，所以数据也可以同时保存在硬盘上。
2.Zookeeper能做什么？
场景一：有一组服务器向客户端提供某种服务（例如：我前面做的分布式网...
分类：
其他好文 时间：
2014-06-22 16:55:46
阅读次数：
216
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些...
分类：
其他好文 时间：
2014-06-21 08:57:48
阅读次数：
430
zookeeper基本是基于API和console进行znode的操作，并没有一个比较方便的操作界面，这里也发现了taobao 伯岩写的一个工具，可以比较方便的查询zookeeper信息。工具的开发语言主要是node.js(最近比较火)，其标榜的是无阻塞的api使用。其原理主要是基于google的V...
分类：
其他好文 时间：
2014-06-18 20:03:33
阅读次数：
219
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类：
其他好文 时间：
2014-06-18 18:34:49
阅读次数：
202
学习Storm视频教程需要具有：Java基础、Linux基础；学习Storm视频教程可以提升的技能(Storm除外)：Zookeeper、Java、Linux
用到技术：Storm集群、Zookeeper集群等
涉及项目：网站PV、UV案例实战、其他案例
Storm视频教程 Storm入门教程-Storm流计算从入门到精通-技术篇，Storm视频教程全面、系统、深入讲解Storm，采用最新的稳定版本Storm 0.9.0.1 ；注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批...
分类：
其他好文 时间：
2014-06-18 12:38:14
阅读次数：
412
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中...
分类：
其他好文 时间：
2014-06-14 21:15:30
阅读次数：
198
Zookeeper的Client直接与用户打交道，是我们使用Zookeeper的interface。了解ZK Client的结构和工作原理有利于我们合理的使用ZK，并能在使用中更早的发现问题。本文将在研究源码的技术上讲述ZK Client的工作原理及内部工作机制。在看完ZK Client的大致架构以...
分类：
其他好文 时间：
2014-06-14 21:14:27
阅读次数：
194
zookeeper是一个分布式的开源的分布式协调服务，用它可以来现同步服务，配置维护。zookeeper的稳定性也是可以保证的，笔者曾参与过的使用zookeeper的两个应用，一个是用zookeeper来做分布式锁，属于同步协调服务，另一个是配置维护，三台机器运行了一年多了，没有出现什么问题。运用场...
分类：
其他好文 时间：
2014-06-14 21:05:20
阅读次数：
178
