码迷,mamicode.com
首页 > Windows程序 > 详细

kafka集群搭建与api客户端创建

时间:2015-07-03 17:31:41      阅读:444      评论:0      收藏:0      [点我收藏+]

标签:kafka   消息集群   

以前的消息队列(activeMQ)对于大数据吞吐率不行,但kafka很好的解决了此类问题,并且以集群的方式进行扩展,可谓相当强大:

集群搭建方式非常轻量级,只需将tar包拷贝到服务器,解压,修改配置文件即可:

1、tar -xzf kafka_2.9.2-0.8.1.1.tgz

2、修改配置文件:
节点1:
vim config/server.properties
    broker.id=1  //所有集群节点中必须唯一
    port=9092    //端口号(发送消息)
    log.dir=/tmp/kafka-logs-1  //日志存放路径
       host.name=datanode    //域名随便取
       zookeeper.connect=datanode:2181,namenode:2181   //节点间地址
节点2:
vim config/server.properties
    broker.id=:2  //所有集群节点中必须唯一
    port=9092    //端口号(发送消息)
    log.dir=/tmp/kafka-logs-1  //日志存放路径
       host.name=namenode    //域名随便取
       zookeeper.connect=datanode:2181,namenode:2181   //节点间地址
......
3、启动zookeeper(最好每台节点都要启动)
   bin/zookeeper-server-start.sh config/zookeeper.properties &
4、启动kafka每个节点(每台节点都要启动)
   bin/kafka-server-start.sh config/server.properties &
5、新建主题topic(只要建一次就行)
   bin/kafka-topics.sh --create --zookeeper namenode:2181 --replication-factor 2 --partitions 2 --topic topic1
6、查看主题topic
  bin/kafka-topics.sh --describe --zookeeper namenode:2181 --topic topic1技术分享
  
7、新建producer发送消息
   a.bin/kafka-console-producer.sh --broker-list namenode:9092 --topic topic1
   b.输入消息 Ctrl+c终止输入
8、新建consumer消费消息
   bin/kafka-console-consumer.sh --zookeeper namenode:2181 --from-beginning --topic topic1
OK 集群搞定

开始检测java客户端的情况:

1、创建生产者:
技术分享

2、创建消费者:
技术分享

技术分享

5、加载partition
技术分享
  6、处理消息
技术分享

检测完毕
       

版权声明:本文为博主原创文章,未经博主允许不得转载。

kafka集群搭建与api客户端创建

标签:kafka   消息集群   

原文地址:http://blog.csdn.net/u013035314/article/details/46743223

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!