zookeeper+kafka集群安装之zookeeper集群...
分类:
其他好文 时间:
2014-05-26 04:42:01
阅读次数:
190
apache kafka源代码分析工程搭建(IDEA)...
分类:
其他好文 时间:
2014-05-25 09:04:38
阅读次数:
416
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类:
其他好文 时间:
2014-05-24 20:48:48
阅读次数:
269
1. kafka是一个分布式的消息发布-订阅队列。2. 其中有一些主要的概念: Topic:
就是对放入队列的消息进行分类,分类消息分开储存,比如现在有订单消息和用户投诉消息,则分成订单topic和投诉topic Message:
放入消息队列的一条一条的消息。 Producer: 消息的生...
分类:
其他好文 时间:
2014-05-24 11:45:13
阅读次数:
236
传统的消息模型有两种模型,队列模型和发布-订阅模式。
1. 队列形式中,一群消费者可能从server那边读消息,而每条消息会流向他们中的一个。
2. 发布-订阅模式中,消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念(下面把它翻译为"消费组"),把两者结合了。。
消费者给自己标志了一个消费组名,每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例,这些消费者实例可以是不同的进程,存在在不同的机器上。
如果所有的消费者在同一个消费组里,那么这相当于是...
分类:
其他好文 时间:
2014-05-21 16:12:44
阅读次数:
279
这个类实现了一些工具性质的方法,正如其名。记下自己觉得有意思的方法:readFileAsString(path: String, charset:
Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
分类:
其他好文 时间:
2014-05-20 08:01:50
阅读次数:
223
这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown
handler to catch control-c Runtime.getRuntime().addShutdownHook(...
分类:
其他好文 时间:
2014-05-19 16:47:11
阅读次数:
241
介绍概述预备知识 网络分区和引导分区策略批量处理版本控制和兼容性协议 Protocol
Primitive TypesNotes on reading the request format grammarsCommon Request and
Response Structure RequestsR...
分类:
其他好文 时间:
2014-05-18 20:14:24
阅读次数:
711
1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案:确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布,pom中其他依赖的jar包排除上面两个2 本地调试不行,在LocalCluster
cl...
分类:
其他好文 时间:
2014-05-16 06:55:48
阅读次数:
251
一、对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试
服务器端IP :10.0.30.221
运行环境的目录如下:
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...