1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压, 进入到目录中编译 直接编译可能报错,跳过test mvn package -DskipTests 2.flume与kafka, ...
分类:
数据库 时间:
2020-07-15 23:28:07
阅读次数:
166
我们知道Logstash的架构如下: 它的整个pipleline分为三个部分: input插件:提取数据。 这可以来自日志文件,TCP或UDP侦听器,若干协议特定插件(如syslog或IRC)之一,甚至是排队系统(如Redis,AQMP或Kafka)。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类:
其他好文 时间:
2020-07-15 23:00:31
阅读次数:
84
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章:【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章:【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类:
其他好文 时间:
2020-07-15 15:19:27
阅读次数:
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章:【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章:【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件: vi /usr/loc ...
分类:
其他好文 时间:
2020-07-15 15:19:01
阅读次数:
133
一,jquery中添加元素的方法 1.text(): 添加文本元素,相当于js中的innerText;不会解析带有标签的元素,会把标签一起输出; 2.html(): 添加元素,会解析带有标签的元素,相当于js中innerHTML; 3.val(): 为input标签添加元素内容,也可以去除input ...
分类:
Web程序 时间:
2020-07-15 12:49:30
阅读次数:
78
课程内容: 1. 简单的操作一下集群 2. 简单的介绍几个工具(企业) 3. Producer的原理(核心,重点) 4. 简单kafka的代码 5. 介绍里面的核心参数(重点) 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数,建议是节点的倍数 Pro ...
分类:
其他好文 时间:
2020-07-15 01:03:51
阅读次数:
81
1、find 用于查找文件或者目录 find path options [commad] 【options】: -size 按文件大小查找 -empty 查找空白文件或目录 -name 按文件名称查找 -iname 按文件名称查找,不区分大小写 -user 按文件属性主查找 -group 按文件属组 ...
分类:
系统相关 时间:
2020-07-14 21:54:07
阅读次数:
103
二分图最大匹配: 匈牙利算法 邻接表O(mn): #pragma GCC optimize(2) #include <bits/stdc++.h> using namespace std; const int maxn = 1010; const int maxm = 2e5; int n, m, ...
分类:
其他好文 时间:
2020-07-14 21:42:51
阅读次数:
67
1.JVM新加“即时编译”,将热点代码直接编成底层代码,减少增加翻译之后可能存在的通信歧义或效率问题; 2.字符集和字符编码 字符集:Unicode 字符编码: utf-8(这个是可变编码,需要1位用1位,需要15位放15位,最大可扩容到4字节,标记隔离的方式是这个字符的前2位来标识是否继续读); ...
分类:
编程语言 时间:
2020-07-14 18:37:38
阅读次数:
66
1.下载kafka ,登陆kafka官网(http://kafka.apache.org/downloads),这里我们直接下载最新版本 2.我这里通过SSH Secure Shell把下载好的kafka压缩包上传到linux服务器的/usr/local路径下,然后解压文件,命令如下 cd /usr ...
分类:
其他好文 时间:
2020-07-14 18:00:26
阅读次数:
144