1. Kafka下载：wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgz（2.9.2为scala的版本 0.8.1为kafka地址）2.下载安装 ...
分类：
其他好文 时间：
2016-05-29 06:17:52
阅读次数：
119
1、安装zookeeper 参考文档：http://www.cnblogs.com/hunttown/p/5452138.html 2、下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg ...
分类：
其他好文 时间：
2016-05-17 13:02:53
阅读次数：
182
主要需要设置的是conf文件夹中的server.properties文件， broker.id,不同的机器节点，使用不同的id号，不能重复。 num.network.threads=8 num.partitions=8 配置环境变量 vi /home/ochadoop/.bash_profile e ...
分类：
其他好文 时间：
2016-05-11 09:25:09
阅读次数：
92
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2016-05-05 19:07:07
阅读次数：
130
管理工具 Kafka Manager 一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这 ...
分类：
其他好文 时间：
2016-05-03 20:23:34
阅读次数：
352
一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中 ...
分类：
其他好文 时间：
2016-05-03 00:21:06
阅读次数：
344
第一步.kafka 集群安装环境准备
环境:CentOS6.5
集群环境:
192.168.139.130 master
192.168.139.131 node1
192.168.139.132 node2
zookeeper 版本:zookeeper-3.3.6.tar.gz
kafka...
分类：
系统相关 时间：
2016-04-22 20:10:36
阅读次数：
472
Kafka - SQL 引擎分享 1.概述 大多数情况下，我们使用 Kafka 只是作为消息处理。在有些情况下，我们需要多次读取 Kafka 集群中的数据。当然，我们可以通过调用 Kafka 的 API 来完成，但是针对不同的业务需求，我们需要去编写不同的接口，在经过编译，打包，发布等一系列流程。最 ...
分类：
数据库 时间：
2016-04-16 00:42:27
阅读次数：
286
一个Topic的多个分区,被分布在kafka集群中的多个server上。每一个分区都有一个server为"leader";leader负责全部的读写操作,假设leader失效,那么将会有其它follower来接管(成为新的leader);follower仅仅是单调的和leader 跟进,同步消息就可 ...
分类：
其他好文 时间：
2016-04-13 11:12:24
阅读次数：
197
1.启动Zookeeper服务器./zookeeper-server-start.sh/opt/cx/kafka_2.11-0.9.0.1/config/zookeeper.properties2.修改broker-1，broker-2配置broker.id=1
listeners=PLAINTEXT://:9093
#Theportthesocketserverlistenson
port=9093
log.dirs=/opt/cx/kafka/kafka-logs-1broker.id..
分类：
其他好文 时间：
2016-04-12 17:43:58
阅读次数：
601
