Nginx 日志分析 1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7 ...
分类：
其他好文 时间：
2017-07-16 15:04:27
阅读次数：
215
在控制台分析nginx日志goaccess-fb.log生成html文件分析nginx日志vi~/.goaccessrctime-format%Tdate-format%d/%b/%Ylog-format%h%^[%d:%t%^]"%r"%s%b"%R""%u"各参数详解：mangoaccess或NginxVariableGoAccessVariable$remote_addr%h$remote_user%^(ignored)$time_local%d:%^$up..
分类：
数据库 时间：
2017-03-24 20:55:58
阅读次数：
301
最近一直在做性能排查，思路就是根据分析Nginx日志，得到响应耗时的url、以及请求时间，再得到这段时间的请求量，并发量，分析是并发的原因，还是本身就比较慢，如果是应用本身的原因，只需要找到对应的代码，然后进行优化就好了找到的几个原因，基本就是后端sql运行的比较多，..
分类：
其他好文 时间：
2017-03-13 22:42:25
阅读次数：
239
1. 获取ip awk ‘{print $1}’ /data/logs/access.log 2.得到独立ip数 awk ‘{print $1}’ /data/logs/access.log | sort | uniq | wc -l 3. 获取访问时间 grep -P ‘\[.*?]\’ -o / ...
分类：
其他好文 时间：
2016-12-25 20:50:25
阅读次数：
234
Goaccess是一个非常良心的开源软件，它的良心之处体现在如下方面：1）安装简单；2）操作容易；3）界面酷炫；安装Goaccess十分的简单，在centos里直接#yuminstallgoaccess，如果yum源里没有goaccess，可以先安装epel。安装epel的方法如下：wgethttp://dl.fedoraproject.org/pub/..
分类：
数据库 时间：
2016-12-14 22:36:40
阅读次数：
491
一、ELK简介1、组成ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合使用，而且又都先后归于 Elastic.co 公司名下，故有此简称。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发 ...
分类：
其他好文 时间：
2016-12-05 19:23:01
阅读次数：
229
今天从nginx日志分析搜索关键字，然后把关键字插入到Mysql数据库里，出现如下错误 SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\xA0\x86\xA2' for column 'XXXX' at row ...
分类：
数据库 时间：
2016-11-11 19:50:52
阅读次数：
337
经过一段时间的学习，写了一个简单的运维管理平台小项目，先看看啥样吧！下面说明下具体实现：软件架构：HTML+CSS+Jquery+Bootstrap+Ajax+Python2.7+Django1.9+SaltStack+MySQL功能描述：数据可视化：采用百度开源的ECharts绘图，通过Python脚本每分钟统计Nginx日志分析PV/UV量..
分类：
其他好文 时间：
2016-10-24 18:16:01
阅读次数：
265
1、查看当天有多少个IP访问：awk‘{print$1}‘log_file|sort|uniq|wc-l2、查看某一个页面被访问的次数：grep"/index.php"log_file|wc-l3、查看每一个IP访问了多少个页面：awk‘{++S[$1]}END{for(ainS)printa,S[a]}‘log_file4、将每个IP访问的页面数进行从小到大排序：awk‘{++S[$1]..
分类：
Web程序 时间：
2016-10-22 01:04:01
阅读次数：
161
一、写在前面 结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用 ...
分类：
其他好文 时间：
2016-09-10 01:22:27
阅读次数：
2554
