一、安装JDK 略过 二、安装Zookeeper 由于Kafka的运行依赖于Zookeeper,所以在运行Kafka之前需要安装并运行Zookeeper 1.Zookeeper下载路径 http://zookeeper.apache.org/releases.html#download 2.解压到文 ...
分类:
其他好文 时间:
2020-07-30 22:13:36
阅读次数:
66
什么是Kafka?Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之 ...
分类:
其他好文 时间:
2020-07-30 14:47:03
阅读次数:
73
#1.1 kafka启动命令nohup bin/kafka-server-start.sh config/server.properties & #1.2 kafka停止命令bin/kafka-server-stop.sh #1.3. kafka重启systemctl restart kafka # ...
分类:
其他好文 时间:
2020-07-30 14:45:42
阅读次数:
79
Kafka对主题的管理通过Kafka-topics.sh来执行,内容如下: exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 内部调用了kafka.admin.TopicCommand类 1.创建主题 如果配置了参 ...
分类:
其他好文 时间:
2020-07-29 10:13:06
阅读次数:
65
1.优先副本的选举 优先副本是为了解决负载失衡的情况,是指在AR集合列表中的第一个副本,比如分区0的AR集合列表为[1,2,0],那么分区0的优先副本即为1。理想情况下优先副本就是该分区的leader副本 优先副本的选举是指通过一定的方式促使优先副本选举为leader副本,来促进集群的负载均衡,也称 ...
分类:
其他好文 时间:
2020-07-29 09:54:05
阅读次数:
66
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类:
其他好文 时间:
2020-07-29 00:41:18
阅读次数:
111
Apache Kafka 架构和相关概念 Apache Kafka 是一款开源的分布式消息引擎系统 消息引擎的同类 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS仅仅是一组 API 协议 消息引擎的作用 削峰填谷 缓冲上下游瞬时突发流量,使其更平滑.特别是对 ...
分类:
Web程序 时间:
2020-07-28 00:19:27
阅读次数:
86
安装kafka之前确保安装环境已经安装好jdk以及zk,并启动,以上有详细步骤,这里不再重复. zk安装地址https://blog.csdn.net/LXYuuuuu/article/details/107605769 上传相应kafka安装包到/export/software/ tar -zxv ...
分类:
其他好文 时间:
2020-07-27 13:52:32
阅读次数:
95
前言 所谓天才,只不过是把别人喝咖啡的功夫都用在工作上了。—— 鲁迅 一、nb_log介绍 非常好用的日志记录模块 作者自诉:在python日志的使用和理解上,能够和我打成平手的,国内没有几人(赞同) 二、功能简介: 自动转换print效果,再也不怕有人在项目中随意print,导致很难找到是从哪里冒 ...
分类:
编程语言 时间:
2020-07-27 09:49:44
阅读次数:
161
1.官网 http://kafka.apache.org/ 2.介绍 一个分布式的流平台 3.特点 具有高吞吐量,高性能,实时,高可靠 二:安装 1.全部上传 2.全部解压 3.安装jdk 4.zookeeper的安装 进入zookeeper的目录下的conf中 将zoo_sample.cfg拷贝一 ...
分类:
其他好文 时间:
2020-07-27 09:19:58
阅读次数:
65