python分析nginx日志并推送到open-falcon
分类：
编程语言 时间：
2018-03-13 18:05:26
阅读次数：
240
日志切割当网站访问量大后，日志数据就会很多，如果全部写到一个日志文件中去，文件会变得越来越大。文件大速度就会慢下来，比如一个文件几百兆。写入日志的时候，会影响操作速度。另外，如果我想看看访问日志，一个几百兆的文件，下载下来打开也很慢。为了方便对日志进行分析..
分类：
其他好文 时间：
2017-11-10 20:16:51
阅读次数：
169
以下脚本都是基于上面日志格式的，如果你的日志格式不同需要调整awk后面的参数。 分析日志中的UserAgent cat access_20130704.log | awk -F "\"" '{print $(NF-3)}' | sort | uniq -c | sort -nr | head -20 ...
分类：
系统相关 时间：
2017-11-07 14:23:08
阅读次数：
292
最近一直在做性能排查，思路就是根据分析Nginx日志，得到响应耗时的url、以及请求时间，再得到这段时间的请求量，并发量，分析是并发的原因，还是本身就比较慢，如果是应用本身的原因，只需要找到对应的代码，然后进行优化就好了 我找到的几个原因，基本就是后端sql运行的比较多，单次访问看不出来，但是人比较 ...
分类：
其他好文 时间：
2017-09-08 16:24:49
阅读次数：
203
0：Nginx日志格式配置 1：统计PV数 （1）统计所有的PV数 （2）统计当天的PV数 （3）统计指定某一天的PV数 如果要是获取某一天的则修改日期即可。 2：获取访问IP数 3：获取每分钟的请求数量 通过cat、awk等Linux脚本工具，输出成csv文件，然后用excel打开，生成柱状图。 ...
分类：
其他好文 时间：
2017-08-20 21:23:57
阅读次数：
150
Nginx 日志分析 1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7 ...
分类：
其他好文 时间：
2017-07-16 15:04:27
阅读次数：
215
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/productslElasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，rest..
分类：
其他好文 时间：
2017-06-28 15:12:53
阅读次数：
292
本文继成上一篇通过hive分析nginx日志文章，详情参考下面链接： http://www.cnblogs.com/wcwen1990/p/7066230.html 接着来： 创建业务子表： drop table if exists chavin.nginx_access_log_comm; cre ...
分类：
其他好文 时间：
2017-06-24 20:52:00
阅读次数：
780
