码迷,mamicode.com
首页 > 其他好文 > 详细

kafka原理和集群

时间:2018-09-05 12:51:24      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:tor   producer   bootstrap   create   消息   为什么   主机   node   replica   

 

搭建kafka 首先要搭建好 前面的 zookeeper 环境
 
? kafka是什么?
– Kafka是由LinkedIn开发的一个分布式的消息系统
– kafka是使用Scala编写
– kafka是一种消息中间件
? 为什么要使用 kafka
– 解耦、冗余、提高扩展性、缓冲
– 保证顺序,灵活,削峰填谷
– 异步通信
 
kafka集群
? kafka 角色与集群结构
– producer:生产者,负责发布消息
– consumer:消费者,负责读取处理消息
– topic: 消息的类别
– Parition:每个Topic包含一个或多个Partition.
– Broker:Kafka集群包含一个或多个服务器
– Kafka通过Zookeeper管理集群配置,选举leader
 
? kafka 角色与集群结构
技术分享图片
===================================================================
 
? kafka 集群的安装配置
– kafka 集群的安装配置是依赖zookeeper的, 搭建kafka 集群之前,首先请创建好一个可用 zookeeper集群
– 安装 openjdk 运行环境
– 分发 kafka 拷贝到所有集群主机
– 修改配置文件
– 启动与验证
 
? server.properties
  1.    broker.id
  2.     每台服务器的broker.id都不能相同
  3.    zookeeper.connect
  4.    zookeeper 集群地址,不用都列出,写一部分即可
 
1 下载解压 kafka 压缩包
]# tar  -xf  kafka_2.10-0.10.2.1.tgz -C  ./
 
2 把 kafka 拷贝到 /usr/local/kafka 下面
]# mv   kafka_2.10-0.10.2.1  /usr/local/kafka
 
3 修改配置文件 
vim/usr/local/kafka/config/server.properties
broker.id=11
zookeeper.connect=node1:2181,node2:2181,node3:2181
 
4 拷贝 kafka 到其他主机,并修改 broker.id ,不能重复
]# for i  in {11..13} ;do  scp  kafka/config/server.properties  192.168.1.$i:/usr/local/kafaka ;done
###注意这里拷贝过去后要修改其他节点的 broker.id 数,不得重复
 
5 启动 kafka 集群
/usr/local/kafka/bin/kafka-server-start.sh -daemon  /usr/local/kafka/config/server.properties
 
验证集群
创建一个 topic 
cd  /usr/local/kafka/
./bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --zookeeper node3:2181 --topic nsd1804
 
生产者,负责发布消息
cd  /usr/local/kafka/
./bin/kafka-console-producer.sh --broker-list node2:9092 --topic nsd1804
 
消费者,负责读取处理消息
cd  /usr/local/kafka/
./bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic nsd1804
 
 
 
 
 
 
 

kafka原理和集群

标签:tor   producer   bootstrap   create   消息   为什么   主机   node   replica   

原文地址:https://www.cnblogs.com/zzc-log/p/9591359.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!