实际工作中，恰好需要处理一个nginx日志，做个简单的分析：引子：开发已经有日志分析平台和工具，但为了查一个问题，需要分析原始日志。要求：原始日志的倒数第二个字段不为空且不为‘-‘的情况下，统计倒数第四个字段不为空且不为‘-‘的且不重复的个数。python脚本如下：#!/usr/b..
分类：
编程语言 时间：
2016-05-08 20:05:55
阅读次数：
786
StatSVN很好的统计工具，能帮你统计团队成员各自的编写量，代码总数，提交情况，文件数量等情况，并且以html网页图表的方式发布统计结果。 以前写过一个叫NOVA的小程序，并用StatSVN管理，通过这个例子介绍StatSVN的一些功能 上面是发布报表的主页，这主要描述统计内容的起止时间，和代码行 ...
分类：
其他好文 时间：
2016-04-28 12:21:06
阅读次数：
285
1.awstats介绍 本文主要是记录centos6.5下安装配置awstats，并统计nginx访问日志 1.1 awstats介绍 awstats是一款日志统计工具，它使用Perl语言编写，可统计的日志类型包括appache，nginx，ftp，mail等，awstats对nginx日志统计非常 ...
分类：
其他好文 时间：
2016-04-23 18:21:58
阅读次数：
644
1.统计ip访问量前10的ip地址cataccess.log|awk‘{print$1}‘|sort|uniq-c|sort-nr|head-n102.查看当天ip访问量统计cataccess.log|grep"21/Apr/2016"|awk‘{print$1}‘|sort|uniq-c|sort-nr3.查看访问前10的页面统计cataccess.log|grep"21/Apr/2016"|awk‘{print$7}‘|sort|uniq-c|sor..
分类：
系统相关 时间：
2016-04-21 18:49:14
阅读次数：
232
简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本:awk、nawk和gawk，未作特别说明，一般指gaw..
分类：
其他好文 时间：
2016-03-31 00:20:41
阅读次数：
207
本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：1，列出当天访问最多次数的ip地址cut-d--f1/usr/local/nginx/logs/20160329/access_2016032913.log|uniq-c|sort-rn|head-20[root@httpservera20160329]#cut-d--f1/usr/local/nginx/logs/20160329/ac..
分类：
其他好文 时间：
2016-03-29 16:47:08
阅读次数：
198
公司it运维从以下几大方面进行把控即：成本控制网站架构设计和优化批量部署批量管理监控预警流量统计日志统计分析自动化智能化具体体现为运维三大层面：运维制度、运维规范、运维流程！
分类：
其他好文 时间：
2016-03-17 19:56:41
阅读次数：
246
公司使用的快网的CDN，但是快网本身并不提供日志的分析统计，我这里还没有用elk，无奈只能先使用shell对日志进行分析统计，作为运维组对业务情况的一个大致的了解。脚本是对前一天的CDNLOG进行解压缩分析，最后将结果按类输出到指定目录，再将这些结果打包扔回CDNLOG目录，因为..
分类：
其他好文 时间：
2016-01-25 17:26:35
阅读次数：
200
按时间段获取日志sed-n‘/22\/Dec\/2015:00/,/22\/Dec\/2015:50/p‘localhost_access_log.2015-11-10.txt>/tmp/acc.www.log
sed-n‘/22\/Dec\/2015:00/,/22\/Dec\/2015:50/p‘localhost_access_log.2015-11-10.txt|head-3
sed-n‘/22\/Dec\/2015:00/,/22\/Dec\/2015:50/p‘localho..
分类：
系统相关 时间：
2015-12-22 13:24:43
阅读次数：
340
3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@‘10.40.214.%‘identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/var/data/;mv/var/data/apa..
分类：
其他好文 时间：
2015-11-05 00:57:10
阅读次数：
278
