题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
在线安装： bin/logstash-plugin install logstash-filter-json_encode 这里可能会保一个mmap 的错误 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00 ...
分类：
Web程序 时间：
2020-12-08 13:03:23
阅读次数：
15
Nginx日志常用分析命令示范（注：日志的格式不同，awk取的项不同。下面命令针对上面日志格式执行） 1）总请求数 wc -l access.log |awk '{print $1}' 2）独立IP数 awk '{print $1}' access.log|sort |uniq |wc -l 3）每 ...
分类：
其他好文 时间：
2020-11-30 16:08:07
阅读次数：
8
Docker版EKL安装记录文档 拉取已下三个镜像 docker.io/logstash 7.5.2 b6518c95ed2f 6 months ago 805 MB docker.io/kibana 7.5.2 a6e894c36481 6 months ago 950 MB docker.io/ ...
分类：
其他好文 时间：
2020-11-24 12:12:14
阅读次数：
8
ELK--使用redis与logstash结合收集数据
分类：
其他好文 时间：
2020-11-18 12:15:15
阅读次数：
5
准备两个linux宿主机- linux-node1: Elasticsearch + Logstash + Kibana linux-node2: Logstash + redis linux-node1 安装 ELK 配置logstash将redis数据送给ES [root@linux-node1 ...
分类：
其他好文 时间：
2020-11-12 13:59:11
阅读次数：
7
docker-compose安装loki套件(loki+promtail+grafana) loki进行日志聚合处理 类似elk中的es promtail是日志收集，类似elk中的logstash filebeat等，如果是只收集docker容器的日志则可以用loki的docker plugin替代 ...
分类：
其他好文 时间：
2020-11-01 20:42:03
阅读次数：
55
logstash cat /etc/logstash/logstash.yml |grep -v '#'path.data: /data/logstash/datapipeline.ordered: autopath.config: /data/logstash_conf/*.confconfig. ...
分类：
其他好文 时间：
2020-10-19 23:01:41
阅读次数：
24
