日志是从logstash传输给ES的,但是logstash配置中只能配置host和index,所以只能在es中进行配置 但是在es配置文件中配置,也就是新增如下参数的话会报错:node settings must not contain any index level settings 所以采用索引 ...
分类:
其他好文 时间:
2019-12-05 13:17:47
阅读次数:
679
ELK 日志分析 1. 为什么用到 ELK 一般我们需要进行日志分析场景:直接在日志文件中 grep、 awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解 ...
分类:
其他好文 时间:
2019-12-02 13:12:46
阅读次数:
156
收集linux日志 filebeat 安装sidecar 下载graylog sidecar 1.0.2 1.x86_64.rpm 安装filebeat 下载filebeat 7.4.2 x86_64.rpm ` 配置web界面 收集windows日志 安装graylog_sidecar_insta ...
分类:
其他好文 时间:
2019-11-30 00:24:28
阅读次数:
257
filebeat+nginx 绘图时url不能模糊搜索的问题 1.修改之前nginx 日志配置为 这里$request_time和$upstream_response_time打上引号是因为,如果取不到这个值,这个值就位 - ,logstash会报错,所以就由字符串再转为float类型 log_fo ...
分类:
Web程序 时间:
2019-11-29 11:16:25
阅读次数:
119
1.特殊字符: $:匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身,请使用 \$。 ():标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用 \( 和 \)。 *:匹 ...
分类:
其他好文 时间:
2019-11-16 12:24:05
阅读次数:
56
因为logstash是jvm跑的,资源消耗比较大,所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人,加入http://elastic.co公司以后,因为es公司本身还收购了另一个开源项目packetbeat,而这个项目专门 ...
分类:
其他好文 时间:
2019-11-13 13:12:00
阅读次数:
75
Dockerfile 中的 的使用方式和 中的使用方式是有区别的 下面是一个 Dockerfile 通过 的方式更换 源和 源 参考: "Multiline Dockerfile syntax" ...
分类:
其他好文 时间:
2019-11-13 13:00:10
阅读次数:
283
ELK对nginx日志进行流量监控 一、前言 线上有一套ELK单机版,版本为5.2.1。现在想把nginx访问日志接入到elk里,进行各个域名使用流量带宽的统计分析。要把nginx日志传输到elk上,可以在存有nginx日志的服务器上使用logstash或者filebeat。但是因为logstash ...
分类:
其他好文 时间:
2019-11-12 09:24:53
阅读次数:
137
本篇文章主要讲解如下安装Logstash,logstash依赖于Java环境,首先安装Java,安装脚本如下: 1 yum install java logstash安装 Logstash的安装脚本如下: 1 # 下载logstash的压缩包 2 wget https://artifacts.ela ...
分类:
编程语言 时间:
2019-11-04 17:54:14
阅读次数:
116
企业部署elk 通过loststash及filebeat系统全方位收集数据库,系统,网络设备,nginx等日志,方便对日志的监控与分析
分类:
其他好文 时间:
2019-11-03 14:51:42
阅读次数:
101