1、ELK部署 ELK是elasticsearch、kibana、Logstash组合而成的整套解决方案，前面我们使用skywalking时候已经部署好elasticsearch(参见上一篇随笔)，接下来只需要安装Logstash和kibana即可 1.1、安装kibana 前面使用的elastic ...
分类：
Web程序 时间：
2020-12-16 13:01:27
阅读次数：
10
1、事出有因一个问题引发的国内外最牛逼的elasticsearch天团博客集合。兄弟们有玩过这个API的吗？这个suggest是干嘛作用的。死磕Elasticsearch知识星球微信群回复：如果看过wood大叔博客或者官方API，就能很快找到答案。2、Elastic中文社区1000期日报TOP30博客统计机器汇集3000+精彩人工推荐的Elastic博文，统计汇总后TOP文章来源统计如下：3、国内
分类：
其他好文 时间：
2020-12-16 12:20:52
阅读次数：
3
一、ELK基础1、ELK简介ELK本质上是三个软件的组合，通过这三个软件的组合可以实现构建一个日志的收集、分析、展示的平台，也就是说借助于ELK可以实现把收集到的日志信息以饼图、柱形图、曲线图等直观的方式展示出来。ELK的三个组件如下：kibana：这个组件用来展示数据，用户访问的时候是访问kibanaelaticsearch简称es：用来存储数据的，kibana中所展示的数据都是来自于eslog
分类：
其他好文 时间：
2020-12-15 12:56:41
阅读次数：
7
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
ELK起源 简介 日常工作中会面临很多问题，处理问题时候。怎么解决问题？ 通过工作经验，迅速判断问题出在哪。 通过日志 系统日志：/var/log 目录下的问题的文件 程序日志： 代码日志（项目代码输出的日志） 服务应用日志 nginx、HAproxy、lvs tomcat、php-fpm redi ...
分类：
其他好文 时间：
2020-12-11 11:57:33
阅读次数：
3
在线安装： bin/logstash-plugin install logstash-filter-json_encode 这里可能会保一个mmap 的错误 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00 ...
分类：
Web程序 时间：
2020-12-08 13:03:23
阅读次数：
15
https://www.cnblogs.com/xybaby/p/7787034.html 概念与实现： 负载均衡： Nginx：高性能、高并发的web服务器；功能包括负载均衡、反向代理、静态内容缓存、访问控制；工作在应用层 LVS： Linux virtual server，基于集群技术和Linu ...
分类：
其他好文 时间：
2020-12-03 12:24:11
阅读次数：
9
