版本:kafka_2.10-0.10.1.1 + zookeeper-3.4.9 说明:kafka自带了zookeeper,但是推荐使用独立的zookeeper集群。 前置环境:(参考Hadoop搭建) 1、节点配分配: 192.168.235.138 node1 192.168.235.139 n ...
分类:
其他好文 时间:
2017-04-24 10:15:21
阅读次数:
199
运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式,用的是kafka自带的zookeeper, 分布式模式,用的是外部安装的zookeeper,即公共的zookeeper。 见博客 4 kafka集群部署 ...
分类:
其他好文 时间:
2016-11-17 12:41:07
阅读次数:
150
本博文的主要内容有 kafka的单机模式部署 kafka的分布式模式部署 生产者java客户端编程 消费者java客户端编程 运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式,用的是kafka自带的zo ...
分类:
编程语言 时间:
2016-10-16 11:53:04
阅读次数:
527
kafka是一个分布式消息队列,需要依赖ZooKeeper,请先安装好zk集群 kafka安装包解压 配置文件 规划有3个节点,broker的id应该不同node1为broker.id=0node2为broker.id=1node3为broker.id=2 node1上复制kafka目录到其他节点 ...
分类:
其他好文 时间:
2016-08-12 18:07:51
阅读次数:
171
一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日
分类:
其他好文 时间:
2016-02-17 20:41:17
阅读次数:
229
kafka集群部署方案ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集..
分类:
其他好文 时间:
2015-12-23 16:23:08
阅读次数:
393
三台机器:vm1、vm2、vm31、部署zookeeper集群假设已经有一个部署好了的zookeeper集群:zk1、zk2、zk32、下载、解压kafka1tar -xzvf kafka_2.10-0.8.2.1.tgz3、修改vm1上面的config/server.properties1234b...
分类:
其他好文 时间:
2015-06-08 12:58:45
阅读次数:
102
kafka集群部署多机多broker模式环境IP:172.16.1.35zookeeperkafka172.16.1.36zookeeperkafka172.16.1.37zookeeperkafka开放端口2181288838889092编辑server.properties文件(以下为172.16.1.35的配置)#在默认的配置上,我只修改了4个地方。broker.id=三个主机172.16.1.35,172.16..
分类:
其他好文 时间:
2015-05-14 14:29:56
阅读次数:
261