1. 为什么你们公司选择RabbitMQ作为消息中间件 在消息队列选型时，我们调研了市场上比较常用ActiveMQ，RabbitMQ，RocketMQ，Kafka。 RabbitMQ相对成熟稳定，这是我们选择它最主要的原因。 社区比较活跃，有完善的资料可以参考。 Rabbitmq的吞吐量可以达到万级 ...
分类：
其他好文 时间：
2021-06-22 18:28:57
阅读次数：
0
官网下载Kafka 安装包，解压安装： http://kafka.apache.org/downloads.html 编辑配置文件 #将kafka文件夹复制到另外两台节点下 注意修改每个节点对应的server.properties文件的broker.id和listenrs 启动kafka # 登录z ...
分类：
系统相关 时间：
2021-06-21 20:02:59
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst ...
分类：
其他好文 时间：
2021-06-20 18:39:18
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障 注：上一篇博客地址https://www.cnblogs ...
分类：
其他好文 时间：
2021-06-18 18:52:34
阅读次数：
0
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 (文章目录) 一. 业务模型 在上一篇文章中，我们分析了生产者的原理。下一步我们来分析下提交上来的消息在Server端时如何存储的。 1.1 概念梳理 Kafka用Topic将数据划分成内聚性较强的子集，To ...
分类：
其他好文 时间：
2021-06-15 17:59:49
阅读次数：
0
