helm部署Filebeat + ELK 系统架构图： 1) 多个Filebeat在各个Node进行日志采集，然后上传至Logstash 2) 多个Logstash节点并行（负载均衡，不作为集群），对日志记录进行过滤处理，然后上传至Elasticsearch集群 3) 多个Elasticsearch ...
分类：
其他好文 时间：
2019-09-30 23:52:57
阅读次数：
331
日志的三种类型# 内核及系统日志： 这种日志数据由系统服务rsyslog统一管理，根据其主配置文件/etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置。系统中有相当一部分程序会把自己的日志文件交由rsyslog管理，因而这些程序使用的日志记录也具有相似的格式。 用 ...
分类：
系统相关 时间：
2019-09-29 13:20:52
阅读次数：
117
本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢，logstash是众多同步mysql数据到es的插件中，最稳定并且最容易配置的一个。 input { stdin { } ...
分类：
数据库 时间：
2019-09-28 01:10:18
阅读次数：
177
1. filebeat.yml 2. logstash.conf ...
分类：
其他好文 时间：
2019-09-27 15:12:34
阅读次数：
184
elk/usr/local/etc/elasticsearch-6.5.1/usr/local/Cellar/logstash/6.5.1/./logstash -f/usr/local/Cellar/kibana/6.5.1/ nginx/usr/local/Cellar/nginx/1.15.8 ...
分类：
其他好文 时间：
2019-09-24 17:39:17
阅读次数：
77
1、docker环境 部署2、jenkins自动化部署3、ELK(ES+Logstash+kibana)+Kafka4、ES搜索 1、logstash同步数据库数据,通过update>最近一次修改时间来同步数据库到ES 问题：不是实时的，并且容易丢失数据 2、可以使用消息队列 可以实时的5、myca ...
分类：
其他好文 时间：
2019-09-23 12:06:54
阅读次数：
69
Module ngx_http_log_module nginx 日志相关指令主要有两条， 一条是log_format，用来设置日志格式，另外一条是access_log，用来指定日志文件的存放路径、格式和缓存大小。通俗的理解就是先用log_format来定义自己想用的日志格式，然后在用access_ ...
分类：
数据库 时间：
2019-09-22 19:30:31
阅读次数：
139
logstash一个实例运行多个配置文件，将所有配置文件放到以下目录即可 /usr/share/logstash/pipeline 但是默认行为不是每个配置文件独立运行，而是作为一个整体，每个input会匹配所有的filter，然后匹配所有的output，可能会导致数据被错误的处理以及发送到错误的地 ...
分类：
其他好文 时间：
2019-09-22 12:59:01
阅读次数：
73
命令的处理方法：1）ntsysv2)setup-systemservice3)脚本一键完成处理我们用脚本处理开机我们需要启动一下4个服务crond--定时任务network--网络服务rsyslog--系统日志功能sshd--这个就是允许远程链接服务chkconfig--list|grep"3:启用"查看有哪些服务启动类似window下的msconfigforvalueinch
分类：
系统相关 时间：
2019-09-22 11:02:41
阅读次数：
103
思路：Beats -> Logstash -> Elasticsearch ...
分类：
数据库 时间：
2019-09-22 01:56:17
阅读次数：
155
