1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类：
其他好文 时间：
2020-07-15 15:19:27
阅读次数：
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章：【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件： vi /usr/loc ...
分类：
其他好文 时间：
2020-07-15 15:19:01
阅读次数：
133
课程内容： 1. 简单的操作一下集群 2. 简单的介绍几个工具（企业） 3. Producer的原理（核心，重点） 4. 简单kafka的代码 5. 介绍里面的核心参数（重点） 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数，建议是节点的倍数 Pro ...
分类：
其他好文 时间：
2020-07-15 01:03:51
阅读次数：
81
1.下载kafka ，登陆kafka官网（http://kafka.apache.org/downloads），这里我们直接下载最新版本 2.我这里通过SSH Secure Shell把下载好的kafka压缩包上传到linux服务器的/usr/local路径下，然后解压文件，命令如下 cd /usr ...
分类：
其他好文 时间：
2020-07-14 18:00:26
阅读次数：
144
内容： 1. kafka的核心概念 Topic：主题 Partition：分区 分区具体在服务器上面表现为其实就是一个目录 一个主题下面，有多个分区，这些分区会存储到不同的kafka的服务器上面 或者我们可以这样说：其实就是在不同的主机上面建了不同目录 Producer：生产者 Consumer：消 ...
分类：
其他好文 时间：
2020-07-13 23:09:51
阅读次数：
98
一，kafka是什么 kafka是一个分布式的发布-订阅消息系统，能够支持海量的数据传递，在高效和实时的消息处理业务系统中，kafka都有广泛应用，kafka将消息持久化到磁盘中，并且创建了备份保存了数据的安全，kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。 二，特 ...
分类：
其他好文 时间：
2020-07-13 11:53:56
阅读次数：
60
1. 一期工程项目技术架构 1）业务驱动 2）问题驱动 2. 二期工程项目技术架构 项目优化原则： 1）优先从架构和程序进行优化 2）考虑增加集群扩容 做任务为什么不适用kafka？ 1）此业务用户量还小 2）数据量小 3）使用kafka大材小用，资源浪费 为什么同时使用db和redis 1）用户成 ...
分类：
其他好文 时间：
2020-07-12 00:58:36
阅读次数：
115
topic相关 创建一个名为TEST的topic,分为10部分，每部分副本数量为3 /app/kafka_2.13-2.5.0/bin/kafka-topics.sh --zookeeper 1.1.1.3:2181 --create --topic TEST --partitions 10 --r ...
分类：
其他好文 时间：
2020-07-11 13:12:27
阅读次数：
37
