ELK系统在安装完成后需要处理相关的日志文件，本文主要对nginx日志文件进行处理并进行可视化操作，来满足日常的业务需求,长话短说，接下来介绍我的环境具体的网络拓扑图如下：具体配置如下：serverOSVersionIP备注logstashCentOSrelease6.4(Final)logstash2.2.2192.168.180.2lo..
分类：
其他好文 时间：
2017-05-19 22:28:19
阅读次数：
387
第一版，比较粗糙，仅限于能用 正在写入的文件不能用tar进行压缩 压缩日志 94 access.log 95 tar: access.log: file changed as we read it 96 #### 压缩日志失败 #### ...
分类：
系统相关 时间：
2017-04-20 23:54:26
阅读次数：
493
在控制台分析nginx日志goaccess-fb.log生成html文件分析nginx日志vi~/.goaccessrctime-format%Tdate-format%d/%b/%Ylog-format%h%^[%d:%t%^]"%r"%s%b"%R""%u"各参数详解：mangoaccess或NginxVariableGoAccessVariable$remote_addr%h$remote_user%^(ignored)$time_local%d:%^$up..
分类：
数据库 时间：
2017-03-24 20:55:58
阅读次数：
301
最近一直在做性能排查，思路就是根据分析Nginx日志，得到响应耗时的url、以及请求时间，再得到这段时间的请求量，并发量，分析是并发的原因，还是本身就比较慢，如果是应用本身的原因，只需要找到对应的代码，然后进行优化就好了找到的几个原因，基本就是后端sql运行的比较多，..
分类：
其他好文 时间：
2017-03-13 22:42:25
阅读次数：
239
利用python脚本分析nginx日志内容，默认统计ip、访问url、状态，可以通过修改脚本统计分析其他字段。一、脚本运行方式pythoncount_log.py-fmed.ihbedu.com.access.log二、脚本内容#!/usr/bin/python
#-*-coding:utf-8-*-
"""
1.分析日志，每行日志按空格切分，取出需要统计的相..
分类：
编程语言 时间：
2016-12-08 14:10:05
阅读次数：
183
awstats分析nginx日志文件,将生成的结果(为txt文件)保存在/var/www/awstats目录下,通过apche来显示生成的结果。nginx的域名为:www.a.com:80LogFile="/usr/local/mybin/nginx/logs/access.log"#nginx的日志文件路径DirData="/var/www/awstats/"#awstats生成结果的保存路径SiteDo..
分类：
其他好文 时间：
2016-11-21 20:49:14
阅读次数：
225
一、Kibana之Visualize 功能 在首页上Visualize 标签页用来设计可视化图形。你可以保存之前在discovery中的搜索来进行画图，然后保存该visualize，或者加载合并到 dashboard 里。一个可视化可以基于以下几种数据源类型：一个新的交互式搜索一个已保存的搜索一个已 ...
分类：
其他好文 时间：
2016-11-01 00:55:13
阅读次数：
544
shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询） 当服务器压力比较大，跑起来很费力时候。我们经常做站点页面优化，会去查找那些页面访问次数比较多，而且比较费时。 找到那些访问次数高，并且比较耗时的地址，就行相关优化，会取得立竿见影的效果的。 下面是我在做优化时候，经常用到的一段s ...
分类：
Web程序 时间：
2016-09-29 00:54:58
阅读次数：
146
一、写在前面 结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用 ...
分类：
其他好文 时间：
2016-09-10 01:22:27
阅读次数：
2554
本文分三个部分介绍了elk、elk安装配置及基于filebeat分析nginx日志的配置。第一部分：elk介绍一、什么是elkELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash和Kibana。这三款软件都是开源软件，通常是配合使用。二、Elastics..
分类：
其他好文 时间：
2016-09-03 15:13:45
阅读次数：
468
