一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。
分类：
其他好文 时间：
2016-03-10 18:39:15
阅读次数：
167
一些重要的原理基本原理什么叫brokerpartitioncg我就不在这里说了，说一些自己总结的原理1.kafka有副本的概念，每个副本都分在不同的partition中，这中间分为leader和fllower2.kafka消费端的程序一定要和partition数量一致，不可以多，会出现有些consumer获取不到数据的现象3.p..
分类：
其他好文 时间：
2016-03-01 14:48:58
阅读次数：
286
Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景
分类：
其他好文 时间：
2016-02-22 16:49:15
阅读次数：
376
曾经的消息队列（activeMQ）对于大数据吞吐率不行，但kafka非常好的攻克了此类问题。而且以集群的方式进行扩展。可谓相当强大： 集群搭建方式很轻量级。仅仅需将tar包复制到server，解压，改动配置文件就可以： 1、tar -xzf kafka_2.9.2-0.8.1.1.tgz 2、改动配
一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日
分类：
其他好文 时间：
2016-02-17 20:41:17
阅读次数：
229
转自：http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110， 111,112 2.kafka使用3个节点110， 111,112 修改配置文件config/server.properties b
分类：
编程语言 时间：
2016-02-03 18:19:57
阅读次数：
221
新建了一个kafka集群，在window下写了一个简单的producer做测试，结果遇到了消息发送失败的问题，代码如下： Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:666...
分类：
其他好文 时间：
2016-01-31 02:45:19
阅读次数：
363
简单说kafka是一个高吞吐的分部式消息系统kafka的架构? producer：消息生存者? consumer：消息消费者? broker：kafka集群的server，负责处理消息读、写请求，存储消息? topic：消息队列/分类? Queue里面有生产者消费者模型? broker就是代理，在k...
分类：
其他好文 时间：
2016-01-19 20:54:59
阅读次数：
245
参考site：https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1....
分类：
其他好文 时间：
2016-01-13 10:39:57
阅读次数：
155
