kafka 应用数据读取理论生产者和消费者 生产者：生产数据 消费者：消费生产者产生的数据 对应关系：一个任务可以有多个分组，可以对应多个消费者，但消费者数量不能大于生产者分组数量，多余的也是无用的。（多对多的中的一对一关系） 特性：kafka只需写入一次，可以支持任意多的应用读取全部数据，如果应用 ...
分类：
编程语言 时间：
2021-06-30 17:51:24
阅读次数：
0
文章目录一、kafka是什么？二、使用步骤1. 安装1.引入库2.消费端：读取数据3.发送端：发送数据总结一、kafka是什么？kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个 ...
分类：
编程语言 时间：
2021-06-30 17:50:03
阅读次数：
0
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者：a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者：a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题：根据问题去了解大 ...
分类：
其他好文 时间：
2021-06-28 18:56:22
阅读次数：
0
环境准备 kafka依赖zookeeper，所以搭建kafka需要先配置zookeeper。网格信息如下： zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.1 ...
分类：
其他好文 时间：
2021-06-23 16:51:10
阅读次数：
0
1. 为什么你们公司选择RabbitMQ作为消息中间件 在消息队列选型时，我们调研了市场上比较常用ActiveMQ，RabbitMQ，RocketMQ，Kafka。 RabbitMQ相对成熟稳定，这是我们选择它最主要的原因。 社区比较活跃，有完善的资料可以参考。 Rabbitmq的吞吐量可以达到万级 ...
分类：
其他好文 时间：
2021-06-22 18:28:57
阅读次数：
0
官网下载Kafka 安装包，解压安装： http://kafka.apache.org/downloads.html 编辑配置文件 #将kafka文件夹复制到另外两台节点下 注意修改每个节点对应的server.properties文件的broker.id和listenrs 启动kafka # 登录z ...
分类：
系统相关 时间：
2021-06-21 20:02:59
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst ...
分类：
其他好文 时间：
2021-06-20 18:39:18
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
