前言： Nginx日志里面Mobileweb_access.log增长特别大，一天上百兆，将近100W的访问记录，按照我们目前的规模，热点用户才500个左右，就算人人用手机app访问，怎么可能会有这么大的url访问量？以前只是安装使用nginx，还没有抽出时间仔细研究，这回需要彻底的去分析nginx日志了。 1，日志分类主要2种，一种是错误日志，一种是访问日志，这些配置都在/usr...
分类：
其他好文 时间：
2014-10-20 21:27:10
阅读次数：
340
安装好nginx和php-fpm后出现502的错误 查找原因是说php-fpm没有启动 ，但在我实际中这个进程是启动的 找了半天没找到原因，查看nginx日志后 发现以下错误
[crit] 2686#0: *1 connect() to unix:/var/run/php5-fpm.sock failed (13: Permission denied) while connecting to u...
分类：
其他好文 时间：
2014-10-15 19:48:51
阅读次数：
290
数组states[$NF]，格式输出printf,注意循环结构范围{}nginx日志格式分状态码查看流量awk‘{StatesCode[$9]+=$10}END{printf("StateCode------SIZE(bytes)\n");for(iinStatesCode)printf("%8s%18s\n",i,StatesCode[i])}‘access.log
分类：
其他好文 时间：
2014-09-26 20:37:59
阅读次数：
127
1. 安装Nginx sudo apt-get install nginxUbuntu安装之后的文件结构大致为：所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/nginx日志放在了/var/l....
分类：
其他好文 时间：
2014-09-19 19:05:35
阅读次数：
339
七、Nginx日志及日志分割（1）Nginx日志文件查看Nginx配置文件：找到access_log，yum安装默认存储在/var/log/nginx目录下，且默认main格式：main格式定义：log_format main '$remote_addr - $remote_user [$time_...
分类：
其他好文 时间：
2014-09-18 12:58:53
阅读次数：
152
线上遇到的一个case，应用结构是nginx----->resin---java，其中nginx做lb，resin做为java的容器。在nginx层面做httpcode的监控，发现有4xx比例高的的报警：分析nginx日志，发现是由于499比例高导致xxxxxxxx-[29/Oct/2012:04:10:03+0800]"GET/GetConfiguration.jsp?peer_vers..
分类：
数据库 时间：
2014-09-03 02:42:56
阅读次数：
281
目录： 一、Nginx的相关配置，以及测试数据 二、Hadoop中创建使用目录 三、Hive的日志表创建，并同步到Hbase中 1)创建自增长ID的类,并添加到Hive环境中 2)在Hive中创建日志表 3)将Nginx的日志数据导入到Hive日志表中 方法一：将本...
分类：
其他好文 时间：
2014-08-24 14:04:32
阅读次数：
246
nginx里面有很多的爬虫日志，会影响到后期的数据分析，所以一般会去掉。nginx排除配置：location/{
#去掉爬虫Start
if($http_user_agent~*"bot|spider"){
access_logoff;
}
#去掉爬虫end
proxy_passhttp://cdel_jxjy;
......
}如果特别想要爬虫日志，也可以讲爬虫日志放到指定..
分类：
其他好文 时间：
2014-08-15 10:51:29
阅读次数：
299
#自搭建了个人博客有需要交流学习的可以访问www.wpython.com#!/usr/bin/envpython
importdatetime,os,sys,shutil
log_path=‘/alidata/log/nginx/access/‘
log_file=‘www.wpython.com.log‘
yesterday=(datetime.datetime.now()-datetime.timedelta(days=1))
try:
os.makedir..
分类：
编程语言 时间：
2014-08-07 07:32:10
阅读次数：
267
#!/bin/bash## Nginx 日志文件所在的目录LOGS_PATH=/usr/local/nginx/logs## 获取昨天的 yyyy-MM-ddYESTERDAY=$(date -d ”yesterday” +%Y-%m-%d)## 移动文件mv ${LOGS_PATH}/access...
分类：
其他好文 时间：
2014-08-05 13:44:19
阅读次数：
286
