kafka基础

标签：http   local   下载地址   动作   bin   pat   10.2.1   一个   输入   

一、kafka是一个消息中间件，具体的起源等介绍忽略。

kafka主要需要了解有四部分：

　　1、producer 生产者

　　2、consumer 消费者

　　3、broker 服务

　　4、topic 消息主题

　　总结就是，生产者将主题生产出来交给服务管理，由消费者消费。

二、kafka安装（mac_os）

　　1、下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz

　　　　选择二进制下载，解压即可用。下载完，解压就算安装完成了吧。（kafka自带了一个zookeeper）

　　2、主要目录结构

　　　　bin:执行文件目录，包括启动kafka、主题操作、控制台模拟生产主题、控制台模拟消费主题、启动zookeeper等命令

　　　　conf：配置文件目录，包括kafka启动配置、自带zookeeper启动配置等配置文件

　　　　lib：jar包目录

　　　　logs：日志文件目录

三、kafka基本操作：

　　1、zookeeper启动：

　　　　kafka的很多信息都是注册在zookeeper上的，包括broker信息，主题信息，消费者，消费偏移量、分区等等。所以启动kafka之前要先启动zookeeper。

　　　　这里就不用kafka自带的zookeeper了。下载zookeeper后，运行bin目录下的命令:zkServer.sh start (默认2181端口)

　　2、kafka启动：

　　　　bin目录下命令文件kafka-server-start.sh

　　　　./bin/kafka-server-start.sh conf/server.properties & （启动kafka使用server.properties配置文件）

　　上面1、2操作，kafka启动完成。

　　下面模拟kafka生产消费，关于kafka创建主题等命令就不写了，不创建主题，直接生产消息，系统会默认帮你创建该主题的，还有其中涉及到分区等内容，这里只概括的讲最简单的。

　　3、生产消息／消费消息

　　　　新打开一个生产者终端输入

　　　　./bin/kafka-console-producer  --broker-list localhost:9092 --topic  test

　　　　新打开一个消费者终端输入

　　　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic tpc --from-beginning

　　　　在生产者终端输入发送信息回车，观察消费者终端的反馈，发现进行了生产消费动作。

　　4、上面就是最简单的kafka小例子

kafka基础

标签：http   local   下载地址   动作   bin   pat   10.2.1   一个   输入   

原文地址：http://www.cnblogs.com/guoliangxie/p/6959432.html