去除字段只能去除_source中的,不是_source内的无法去除。 去除不必要的字段,不仅可以节省ES的存储内容,同时因为节省了ES的内容,可以加速搜索的速度 Logstash配置去除不需要的字段 重启logstash之后,再次在kibana中查看数据,已经没有了@version和message ...
分类:
其他好文 时间:
2019-09-20 21:36:14
阅读次数:
243
yum install -y haproxy 生成配置文件位置 /etc/haproxy/haproxy.cfg ########################启用日志###################### vim /etc/rsyslog.conf #由于haproxy的日志是用udp传输 ...
分类:
其他好文 时间:
2019-09-19 19:29:45
阅读次数:
89
一台正常提供服务Linux服务器,每时每刻都在产生着大量的日志信息,若生产环境中,有几十台甚至上百台服务器,那么一台一台的去查看系统的日志是非常麻烦的。在技术不断更新的今天,有很多可以技术可以对日志进行集中管理,最普遍的操作还是要属ELK日志分析系统了,不过这些日志是如何产生的?是由哪个服务来进行统一管理的呢?这篇文章就围绕着系统日志的服务——rsyslog这个服务来叙述一下。Linux系统中有很
分类:
系统相关 时间:
2019-09-19 18:05:59
阅读次数:
137
一、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心组件。 Elasticsearch是数据存储、搜索、分析引擎,功能非常强大;Logstash是日志的收集、过滤工具;而Kibana是一个web图形展示引擎,可以展示采集到的数据。 本文旨在通过使用 ...
分类:
其他好文 时间:
2019-09-16 22:04:07
阅读次数:
134
一、法一:mv 1、vim nginx_log.sh#!/bin/bashlog_path=/var/log/nginxpath=/var/zjz.log(切割后的日志存放路径)date=`date '+%Y-%m-%d-%H:%M:%S'`/bin/mv ${log_path}/access.lo ...
分类:
其他好文 时间:
2019-09-14 18:59:43
阅读次数:
120
springboot里连接elk里的logstash,然后写指定index索引的日志,而之后使用kibana去查询和分析日志,使用elasticsearch去保存日志。 添加引用 添加配置 指定配置 logstash配置索引 kibana里建立索引 通过kiban菜单去建立索引:Management ...
分类:
编程语言 时间:
2019-09-13 20:15:14
阅读次数:
81
ELK E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash K: kibana ...
分类:
其他好文 时间:
2019-09-12 18:07:24
阅读次数:
101
一.使用logstash同步订单数据(订单表和订单项表)到ElasticSearch: 1.到官网下载logstash:https://www.elastic.co/cn/downloads/logstash 2.安装logstash前,确保需要先安装java的jdk环境 3.下载后,解压:之后千万 ...
分类:
其他好文 时间:
2019-09-12 13:32:01
阅读次数:
113
1. 检测网站是否正常 2.打包小于5KB的文件 3.监控22端口是否被封并处理 4. 分析nginx日志 5. 根据提示打印数字 #!/bin/bash read -p "please input a number" nn1=`echo $n|sed 's/[0-9]//g'`if [ -n "$ ...
分类:
系统相关 时间:
2019-09-11 23:56:16
阅读次数:
169
logstash 安装和简单使用 1:安装jdk: [root@elk03tools]# rpm -ivh jdk-8u221-linux-x64.rpm warning: jdk-8u221-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ...
分类:
其他好文 时间:
2019-09-09 22:19:24
阅读次数:
222