今天用logstash同步数据库记录到elasticsearch时候出现错误，错误信息如下： 这种错误会导致创建不了时间节点文件。 问题原因是由于我的conf 中sql是多表联查的，我给每个字段起了别名（驼峰方式），但是logstash里面不支持驼峰字段，所以将字段别名全部用了小写，之后就好了，以下 ...
分类：
其他好文 时间：
2019-10-13 00:24:17
阅读次数：
270
延时从库 主从复制很好的解决了物理损坏，但是如果主库有个误删除写入的操作怎么办？ 正常情况下从库也会同步这个错误的，企业中应该怎么避免这个情况？这个时候就需要使用延时同步来解决： 延时从库？delay(延时)从节点同步数据。 对SQL线程进行延时设置。IO线程正常的执行。企业中一般延迟3-6小时 延 ...
分类：
数据库 时间：
2019-10-11 01:11:05
阅读次数：
141
@echo off set Path1=H:dir1 set Path2=H:dir2 set Path3=H:dir3 set Path4=H:dir4 cd C:\Program Files\TortoiseSVN\bin start TortoiseProc.exe /command:upda ...
分类：
其他好文 时间：
2019-10-09 19:38:39
阅读次数：
98
转自：https://www.cnblogs.com/luao/p/10682830.html 转自：https://www.cnblogs.com/luao/p/10682830.html 1.复制过程 2.数据间的同步 上面说的复制过程，其中有一个步骤是“同步数据集”，这个就是现在讲的“数据间的 ...
分类：
其他好文 时间：
2019-10-06 00:09:12
阅读次数：
119
下载logstash 6.4.3版本 解压 下载input和output插件 新建logstash.conf 内容输入案例 注意：这里边需要先安装下mysql-connector-java-5.1.46.jar包，存放到以上指定位置 配置pipelines.yml 在文件底部添加 启动ogstash ...
分类：
数据库 时间：
2019-10-05 22:20:30
阅读次数：
119
Consul集群Server模式 架构示意图 Consul在生产环境下运行模式分为两种：Server模式和Client模式（dev模式属于开发模式不在这里讨论），我们先用Server模式搭建一个Consul集群,示意图如下： Consul Server A、B、C是启动的三个Consul服务运行于S ...
分类：
其他好文 时间：
2019-09-30 09:14:37
阅读次数：
144
V4.1.0 根据用户反馈，共增加了23个更新：其中有11个功能增强和12个BUG修复。新版极大方便测试执行，测试用例可要把看板设置为首页，就可以在这里连续不断的执行你的迭代用例，同时，用导导入导出及同步离线处理更加友好，返回具体的同步数据。 V4.1.0详情如下所述: ...
分类：
其他好文 时间：
2019-09-29 12:35:41
阅读次数：
98
1、docker环境 部署2、jenkins自动化部署3、ELK(ES+Logstash+kibana)+Kafka4、ES搜索 1、logstash同步数据库数据,通过update>最近一次修改时间来同步数据库到ES 问题：不是实时的，并且容易丢失数据 2、可以使用消息队列 可以实时的5、myca ...
分类：
其他好文 时间：
2019-09-23 12:06:54
阅读次数：
69
面试题 如何保证消息的顺序性？ 面试官心理分析 其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。 面试题剖析 我举个例子，我们以前做过一个 mysql 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说 ...
分类：
其他好文 时间：
2019-09-22 23:34:55
阅读次数：
108
