码迷,mamicode.com
首页 > Windows程序 > 详细

window下Kafka最佳实践

时间:2016-05-13 10:17:39      阅读:1551      评论:0      收藏:0      [点我收藏+]

标签:

Kafka的介绍和入门请看这里kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)

当前文章从实践的角度为大家规避window下使用的坑。

1.要求:

java 8

2.下载kafka【注意,只用下载kafka】

http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

3.解压,通过cmd进入kafka_2.11-0.9.0.1\bin\windows目录

4.启动zk

zookeeper-server-start ..\..\config\zookeeper.properties

测试连接一下

zookeeper-shell.bat 0.0.0.0:2181

5.启动Kafka

kafka-server-start.bat ..\..\config\server.properties

6)创建topic

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic mytopic
参数的含义可以自查,当前无视
Created topic "mytopic".
 
7)查看topic
kafka-topics.bat --describe --zookeeper localhost:2181 --topic mytopic
----------------------------------------------------------
Topic:mytopic PartitionCount:3 ReplicationFactor:1 Configs:
Topic: mytopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: mytopic Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: mytopic Partition: 2 Leader: 0 Replicas: 0 Isr: 0
8)发布/生产消息窗口
kafka-console-producer.bat --broker-list localhost:9092 --topic mytopic
 
9)消费消息窗口
kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic
 
10)在生产者producer窗口输入,可以在consumer窗口看到输出
bin\windows>kafka-console-producer.bat --broker-list localhost:9092 --topic mytopic
--------------------------------------------------------------------

你真坚决
niaho
heelo
我是中文啊

bin\windows>kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic

--------------------------------------------------------------------

你真坚决
niaho
heelo
我是中文啊

--------------------------------------------------------------------

以上内容参考这里:http://kafka.apache.org/documentation.html#quickstart

ok,很完美.

出错问题:Unrecognized VM option UseG1GC 这些优化参数其实都是新版的,所以要么用jdk1.7+,要么去掉。

解决办法:打开conf\kafka-run-class.bat,找到102行,修改如下

IF ["%KAFKA_JVM_PERFORMANCE_OPTS%"] EQU [""] (
    rem set KAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true
    set KAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+DisableExplicitGC -Djava.awt.headless=true
)

 

使用java调用kafka,参考http://blog.csdn.net/hxpjava1/article/details/19160665。

Kafka与spring集成,参考http://colobu.com/2014/11/19/kafka-spring-integration-in-practice/

window下Kafka最佳实践

标签:

原文地址:http://www.cnblogs.com/mignet/p/window_kafka.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!