一、集群安装1. Kafka下载：可以从kafka官方网站（http://kafka.apache.org）上找到下载地址，再wgetwgethttp://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压该文件： tar z...
分类：
其他好文 时间：
2016-01-10 17:00:33
阅读次数：
228
编写python脚本statistic.py#!/usr/bin/python
"""pipinstallkazoo"""
"""pipinstallkafka-python"""
importtime
importthreading
fromkazoo.clientimportKazooClient
fromkafka.consumerimportKafkaConsumer
importelasticsearch
EARLYRES={}
def_get_partitions_logsize(topi..
分类：
其他好文 时间：
2016-01-04 18:26:44
阅读次数：
439
Centos6.7基于Zookeeper：http://www.cnblogs.com/blazer/p/4977217.html
分类：
其他好文 时间：
2015-12-30 13:37:03
阅读次数：
107
自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz。首先要安装JDK（jdk-7u9-linux-i586.tar.gz）和SSH，IP地址的分配为Kafka1（192.168.56.136），Kafka2（192.168.56.137），Ka...
分类：
其他好文 时间：
2015-12-27 13:26:51
阅读次数：
426
kafka集群部署方案ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集..
分类：
其他好文 时间：
2015-12-23 16:23:08
阅读次数：
393
Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Con...
分类：
其他好文 时间：
2015-12-09 11:56:18
阅读次数：
324
1、下载kafka，并上传到服务器2、如果之前没安装zookeeper，这里可以启动一个简单的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &3、配置kafka集群（多个broker）cp config/ser....
分类：
其他好文 时间：
2015-12-05 17:49:01
阅读次数：
387
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-11-17 16:31:21
阅读次数：
192
原文：http://www.aboutyun.com/thread-9341-1-1.html 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存...
分类：
其他好文 时间：
2015-11-11 16:51:26
阅读次数：
308
