搭建kafka集群的基本环境需要安装JDK和zookeeper（或zookeeper集群） 下载kafaka安装包到服务器端并解压到指定目录 [root@hadoop01 soft]# wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.... ...
分类：
其他好文 时间：
2019-02-14 20:20:30
阅读次数：
166
首先了解一下kafka的基本概念 .1. BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker2. Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker ...
分类：
其他好文 时间：
2019-02-13 12:54:16
阅读次数：
336
一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区 ...
分类：
其他好文 时间：
2019-02-03 10:36:44
阅读次数：
226
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的 ...
分类：
其他好文 时间：
2019-01-29 18:17:29
阅读次数：
147
当kafka集群单个节点出现磁盘满了，需要清理历史topic数据；方法如下 1)： 停掉kafka进程，将kafka的server.properties中的log.retention.hours=1/60; 将日志数据保留1分钟 或者 在不用停掉kafka进程的情况下执行： 这样就可以保证当前消费者 ...
分类：
其他好文 时间：
2019-01-28 16:41:03
阅读次数：
424
解决方法很简单，用zookeeper client删除下面的路径 /brokers/topic/${topic-name} kafka 0.8.1自带的zookeeper-shell.sh程序很麻烦，需要一点点删除 delete /brokers/topics/test/partitions/0 d ...
分类：
其他好文 时间：
2019-01-25 21:42:22
阅读次数：
332
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
分类：
其他好文 时间：
2019-01-25 19:21:51
阅读次数：
208
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2019-01-25 18:44:58
阅读次数：
176
1. 环境准备 JDK1.8 ZooKeeper集群（参见本人博文） Scala2.12（如果需要做scala开发的话,安装方法参见本人博文) 本次安装的kafka和zookeeper集群在同一套物理机器上， 192.168.1.101 192.168.1.102 192.168.1.103 2. ...
分类：
系统相关 时间：
2019-01-22 13:14:02
阅读次数：
247
