1. 搭建测试环境安装 1.1 下载并启动docker-compose容器 # 该 Docker Compose 中包含的容器有： # DataGen：数据生成器。容器启动后会自动开始生成用户行为数据，并发送到 Kafka 集群中。默认每秒生成 1000 条数据，持续生成约 3 小时。也可以更改 d ...
分类：
数据库 时间：
2021-04-28 11:43:18
阅读次数：
0
Kafka 基本术语 对于 Kafka 基本原理的介绍，可以通过对以下基本术语的介绍进行。 2.1.1 Topic 主题。在 Kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。 topic 相当于消息的分类标签，是一个逻辑概念。 2.1.2 Partition 分 ...
分类：
其他好文 时间：
2021-04-26 13:52:08
阅读次数：
0
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
spring: kafka: bootstrap-servers: 112.126.74.249:9092,112.126.74.249:9093 ###########【初始化生产者配置】########### producer: # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选 ...
分类：
其他好文 时间：
2021-04-21 12:08:09
阅读次数：
0
市场上常见的消息队列有如下： ActiveMQ：基于JMS ZeroMQ：基于C语言开发 RabbitMQ：基于AMQP协议，erlang语言开发，稳定性好 RocketMQ：基于JMS，阿里巴巴产品 Kafka：类似MQ的产品；分布式消息系统，高吞吐量 用rabbitmq比较多 ...
分类：
其他好文 时间：
2021-04-19 15:27:26
阅读次数：
0
1. kafka介绍 1.1. 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka ...
分类：
其他好文 时间：
2021-04-19 14:59:09
阅读次数：
0
一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意：根据32/64位操作系统下载对应的安装包 2、添加系统变量：JAVA_HOME=C: ...
解压压缩包 tar -zxf kafka-eagle-bin-1.2.4.tar.gz 设置全局变量，设置JDK的全局变量JAVA_HOME和本应用的KE_HOME export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el ...
分类：
其他好文 时间：
2021-04-14 11:53:23
阅读次数：
0
比如说这个消息队列系统，我们来从以下几个角度来考虑一下 （1）首先这个mq得支持可伸缩性吧，就是需要的时候快速扩容，就可以增加吞吐量和容量，那怎么搞？设计个分布式的系统呗，参照一下kafka的设计理念，broker → topic → partition，每个partition放一个机器，就存一部分 ...
分类：
其他好文 时间：
2021-04-13 12:22:01
阅读次数：
0
Kafka集群搭建 Zookeeper简介 ZooKeeper 是一个开源的分布式框架，提供了协调分布式应用的基本服务。它向外部应用 暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Mainte ...
分类：
其他好文 时间：
2021-04-12 11:49:15
阅读次数：
0
