zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类：
其他好文 时间：
2014-05-24 20:48:48
阅读次数：
269
1. kafka是一个分布式的消息发布-订阅队列。2. 其中有一些主要的概念： Topic:
就是对放入队列的消息进行分类，分类消息分开储存，比如现在有订单消息和用户投诉消息，则分成订单topic和投诉topic Message：
放入消息队列的一条一条的消息。 Producer： 消息的生...
分类：
其他好文 时间：
2014-05-24 11:45:13
阅读次数：
236
传统的消息模型有两种模型，队列模型和发布-订阅模式。
1. 队列形式中，一群消费者可能从server那边读消息，而每条消息会流向他们中的一个。
2. 发布-订阅模式中，消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念（下面把它翻译为"消费组"），把两者结合了。。
消费者给自己标志了一个消费组名，每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例，这些消费者实例可以是不同的进程，存在在不同的机器上。
如果所有的消费者在同一个消费组里，那么这相当于是...
分类：
其他好文 时间：
2014-05-21 16:12:44
阅读次数：
279
这个类实现了一些工具性质的方法，正如其名。记下自己觉得有意思的方法：readFileAsString(path: String, charset:
Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
分类：
其他好文 时间：
2014-05-20 08:01:50
阅读次数：
223
这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown
handler to catch control-c Runtime.getRuntime().addShutdownHook(...
分类：
其他好文 时间：
2014-05-19 16:47:11
阅读次数：
241
介绍概述预备知识 网络分区和引导分区策略批量处理版本控制和兼容性协议 Protocol
Primitive TypesNotes on reading the request format grammarsCommon Request and
Response Structure RequestsR...
分类：
其他好文 时间：
2014-05-18 20:14:24
阅读次数：
711
1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案：确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布，pom中其他依赖的jar包排除上面两个2 本地调试不行，在LocalCluster
cl...
分类：
其他好文 时间：
2014-05-16 06:55:48
阅读次数：
251
前言：前两天在查找如何扩展log4net的日志格式时找到一个开源项目Log4net.NoSql,它通过扩展Appender实现了把日志输出到ElasticSearch里面。顺藤摸瓜，发现涉及的项目还挺多，于是打算学习一下，记录在此。项目一句话简介，详情点击链接去项目主页查看，最后提供打包下载：1.
...
分类：
数据库 时间：
2014-05-15 17:36:51
阅读次数：
559
最近做日志分析，发现logstash较符合自己的需求，Logstash：做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集、indexer作为log转载.Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2014-05-15 00:42:49
阅读次数：
655
1、对elsasticsearch index的解释，What exactly is an index
in Elasticsearch ?basic definitionAn index isdefinedas:An index is like a
‘database’ in a relation...
分类：
其他好文 时间：
2014-05-14 03:21:49
阅读次数：
287
