https://kafka.apache.org/quickstart C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\bin\windows\zookeeper-server-start.bat C:\W_O_R_K\kafka_2.12-2.2.0\ka ...
分类：
其他好文 时间：
2020-03-22 18:06:25
阅读次数：
77
一、logstash结合redis收集系统日志 架构图： 环境准备： A主机：elasticsearch主机 IP地址：192.168.7.100 B主机：logstash主机 IP地址：192.168.7.102 C主机：redis主机 IP地址：192.168.7.103 D主机：logstas ...
分类：
其他好文 时间：
2020-03-22 15:50:50
阅读次数：
67
一、MQ存储分类 文件系统：RocketMQ/Kafka/RabbitMQ 关系型数据库DB：ActiveMQ（默认采用的KahaDB做消息存储）可选用JDBC的方式来做消息持久化 分布式KV存储：ZeroMQ 对比： 存储效率， 文件系统>分布式KV存储>关系型数据库DB 易于实现和快速集成，关系 ...
分类：
其他好文 时间：
2020-03-22 13:59:27
阅读次数：
184
技术 kafka：同一时刻，一条消息只能被组中的一个消费者实例消费 消费者组订阅这个主题，意味着主题下的所有分区都会被组中的消费者消费到，如果按照从属关系来说的话就是，主题下的每个分区只从属于组中的一个消费者，不可能出现组中的两个消费者负责同一个分区。 那么，问题来了。如果分区数大于或者等于组中的消 ...
分类：
其他好文 时间：
2020-03-22 10:56:10
阅读次数：
75
记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t ...
分类：
其他好文 时间：
2020-03-22 01:01:11
阅读次数：
82
一、Bus简介 是什么： Spring Cloud Bus 使用轻量级的消息代理（目前只支持两种，RabbitMQ 和 Kafka）连接分布式系统的节点，这样就可以广播传播状态的更改（例如配置的更新）或者其他的管理指令。可将 Spring Cloud Bus 想象成一个分布式 Spring Boot ...
分类：
编程语言 时间：
2020-03-21 23:09:00
阅读次数：
81
架构层面做的强大，满足各个租户的自定义和系统集成。 中国呢，过去的3年已经证明面向中小企业、创业企业基本是不靠谱，所以从去年下半年，大家都纷纷杀入中大型企业、大型企业。这些中国企业，要么要求在他们的私有云中部署，要么要求在公有云为他们开辟一个专区专门独立部署，而且都要求和他们现有的内部ERP软件统一 ...
分类：
其他好文 时间：
2020-03-21 18:18:31
阅读次数：
63
实战一：通过Logstash收集tomcat服务器的日志 1、配置JDK环境 1、解压JDK包，创建软链接 [root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz [root@tomcat-web1 src]# ln -sv /usr/l ...
分类：
编程语言 时间：
2020-03-21 14:57:13
阅读次数：
116
C:\tools\kafka_2.12-2.4.1>zookeeper-server-start.bat config\zookeeper.properties C:\tools\kafka_2.12-2.4.1>kafka-server-start.bat config\server.proper ...
分类：
其他好文 时间：
2020-03-21 09:22:00
阅读次数：
54
记录下和kafka相关的概念原理以及常用工具，文中很多理解参考文末博文、书籍还有前辈。 kafka特性 kafka是由领英(LinkedIn)提供给Apache，是一个消息引擎，现在发展成为还可以进行流处理（kafka streams）的一个平台，以下是它的架构图。 （1）用的是发布 订阅模式，多个 ...
分类：
其他好文 时间：
2020-03-21 00:00:40
阅读次数：
74
