传统的消息模型有两种模型,队列模型和发布-订阅模式。
1. 队列形式中,一群消费者可能从server那边读消息,而每条消息会流向他们中的一个。
2. 发布-订阅模式中,消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念(下面把它翻译为"消费组"),把两者结合了。。
消费者给自己标志了一个消费组名,每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例,这些消费者实例可以是不同的进程,存在在不同的机器上。
如果所有的消费者在同一个消费组里,那么这相当于是...
分类:
其他好文 时间:
2014-05-21 16:12:44
阅读次数:
279
这个类实现了一些工具性质的方法,正如其名。记下自己觉得有意思的方法:readFileAsString(path: String, charset:
Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
分类:
其他好文 时间:
2014-05-20 08:01:50
阅读次数:
223
一则苹果计划32亿美元收购音频设备厂商Beats的消息,让音频设备——这个极少被人们重视又时刻离不开的产品重新引发了关注。
国产数码品牌通常都被自然的贴上低端、低质的标签。然而难能可贵的是,国产音频设备厂商不但是在中国,甚至全球中高端音频设备上都占据重要地位,诞生了惠威、Hifiman、达音科、.....
分类:
其他好文 时间:
2014-05-20 02:48:00
阅读次数:
293
这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown
handler to catch control-c Runtime.getRuntime().addShutdownHook(...
分类:
其他好文 时间:
2014-05-19 16:47:11
阅读次数:
241
介绍概述预备知识 网络分区和引导分区策略批量处理版本控制和兼容性协议 Protocol
Primitive TypesNotes on reading the request format grammarsCommon Request and
Response Structure RequestsR...
分类:
其他好文 时间:
2014-05-18 20:14:24
阅读次数:
711
1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案:确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布,pom中其他依赖的jar包排除上面两个2 本地调试不行,在LocalCluster
cl...
分类:
其他好文 时间:
2014-05-16 06:55:48
阅读次数:
251
一、对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试
服务器端IP :10.0.30.221
运行环境的目录如下:
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...
分布式消息系统Jafka入门指南之二作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs三、Jafka的目录结构1、安装tree命令$ sudo yum install tree2、查看目录$ tree -L 1
.
?..?? bin
?..?? conf
?..?? data
?..?? lib
?..?? LICENSE
?..?? logs
?..?...
分类:
其他好文 时间:
2014-04-29 13:38:21
阅读次数:
448
分布式消息系统Jafka入门指南作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs一、JafkaMQ简介JafkaMQ是一个分布式的发布/订阅消息系统,它是Apache Kafka的Java移植版。2013年11月28日,JafkaMQ发布了1.2.3版。JafkaMQ的特征如下:1)消息持久化到磁盘的算法时间复杂度为O(1),即使是TB级的消息存储,也能...
分类:
其他好文 时间:
2014-04-29 13:32:22
阅读次数:
278
1、监控目标
当系统可能或处于亚健康状态时及时提醒,预防故障发生报警提示
2、监控内容
2.1 机器监控
Kafka服务器指标
CPU LoadDisk IOMemory
2.2 JVM监控
主要监控JAVA的 GC time(垃圾回收时间),JAVA的垃圾回收机制对性能的影响比较明显
2.3 Kafka系统监控
1、Kafka总体监控
zookeeper上/kaf...
分类:
其他好文 时间:
2014-04-27 18:10:15
阅读次数:
582