文章目录一、kafka是什么？二、使用步骤1. 安装1.引入库2.消费端：读取数据3.发送端：发送数据总结一、kafka是什么？kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个 ...
分类：
编程语言 时间：
2021-06-30 17:50:03
阅读次数：
0
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者：a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者：a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题：根据问题去了解大 ...
分类：
其他好文 时间：
2021-06-28 18:56:22
阅读次数：
0
环境准备 kafka依赖zookeeper，所以搭建kafka需要先配置zookeeper。网格信息如下： zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.1 ...
分类：
其他好文 时间：
2021-06-23 16:51:10
阅读次数：
0
1. 为什么你们公司选择RabbitMQ作为消息中间件 在消息队列选型时，我们调研了市场上比较常用ActiveMQ，RabbitMQ，RocketMQ，Kafka。 RabbitMQ相对成熟稳定，这是我们选择它最主要的原因。 社区比较活跃，有完善的资料可以参考。 Rabbitmq的吞吐量可以达到万级 ...
分类：
其他好文 时间：
2021-06-22 18:28:57
阅读次数：
0
官网下载Kafka 安装包，解压安装： http://kafka.apache.org/downloads.html 编辑配置文件 #将kafka文件夹复制到另外两台节点下 注意修改每个节点对应的server.properties文件的broker.id和listenrs 启动kafka # 登录z ...
分类：
系统相关 时间：
2021-06-21 20:02:59
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst ...
分类：
其他好文 时间：
2021-06-20 18:39:18
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
