这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
Logstash连接MySQL 下载MySQL驱动 打开驱动jar包下载地址：https://dev.mysql.com/downloads/connector/j/ 选择平台无关的版本 下载zip版本，在本地打开，解压出jar文件 因为logstash在ubuntu下的默认配置文件路径是 /etc ...
分类：
数据库 时间：
2020-07-15 23:45:46
阅读次数：
100
1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类：
其他好文 时间：
2020-07-15 15:19:27
阅读次数：
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章：【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件： vi /usr/loc ...
分类：
其他好文 时间：
2020-07-15 15:19:01
阅读次数：
133
课程内容： 1. 简单的操作一下集群 2. 简单的介绍几个工具（企业） 3. Producer的原理（核心，重点） 4. 简单kafka的代码 5. 介绍里面的核心参数（重点） 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数，建议是节点的倍数 Pro ...
分类：
其他好文 时间：
2020-07-15 01:03:51
阅读次数：
81
1.下载kafka ，登陆kafka官网（http://kafka.apache.org/downloads），这里我们直接下载最新版本 2.我这里通过SSH Secure Shell把下载好的kafka压缩包上传到linux服务器的/usr/local路径下，然后解压文件，命令如下 cd /usr ...
分类：
其他好文 时间：
2020-07-14 18:00:26
阅读次数：
144
1.授权成功：corpId:wx6055e3db17b8bb4ccd /mnt/data/logs;grep -anr -C 100 "授权成功：corpId:wx6055e3db17b8bb4c" wxqyh_1808{6,7,8,9}/log4j.log > log.txt 2.cd /mnt/ ...
分类：
其他好文 时间：
2020-07-14 00:29:52
阅读次数：
61
内容： 1. kafka的核心概念 Topic：主题 Partition：分区 分区具体在服务器上面表现为其实就是一个目录 一个主题下面，有多个分区，这些分区会存储到不同的kafka的服务器上面 或者我们可以这样说：其实就是在不同的主机上面建了不同目录 Producer：生产者 Consumer：消 ...
分类：
其他好文 时间：
2020-07-13 23:09:51
阅读次数：
98
