标签：use raw epo query ESS goaccess 查看 geo set
nginx日志默认不会记录post数据
在nginx配置文件的http节
log_format 日志格式标识 [escape=json] 日志格式
比如：日志格式标识设置为main，添加escape=json以便中文正确显示（注意，escape=json 需要 nginx 1.11.8 以上版本才支持），记录post和cookie的请求的相信信息
log_format main escape=json ‘$remote_addr [$time_local] "$request" $status $bytes_sent "$http_referer" "$http_user_agent" "$http_cookie" "$request_body"‘;
其中：
$time_local 格式化的时间
$request 请求地址
$status 响应码
$body_bytes_sent 传送页面的字节数
$http_referer 来源地址
$http_user_agent 客户端UA
$document_root 当前文件的目录绝对地址,比如:/var/www/html
$fastcgi_script_name 当前url的绝对地址,比如:/info.php
$request_filename 当前请求文件的绝对物理地址,基于root和alias指令,比如:/var/www/html/info.php
$http_cookie cookie信息,这个也很重要,如果在cookie中带上了用户的标识,比较方便调试
然后在每个虚拟站点的server节
access_log 日志报错路径 日志格式标识;
比如日志保存到/data/logs/web.log，日志格式用刚才设置的main那个格式，如果要其他格式可以在刚才的http节添加多个log_format，并使用不同的日志格式标识
access_log /data/logs/web.log main;
GoAccess日志分析
安装
yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-develyum install gcc -y
yum -y install GeoIP-update
yum install goaccess
查看nginx的日志格式配置，用 nginx2goaccess.sh 将 nginx日志格式配置转换为goaccess可以识别的格式配置
https://raw.githubusercontent.com/stockrt/nginx2goaccess/master/nginx2goaccess.sh
sh nginx2goaccess.sh ‘<log_format>‘ #log_format为你nginx.conf中配置的日志格式
比如：
sh nginx2goaccess.sh ‘$remote_addr [$time_local] "$request" $status $bytes_sent "$http_referer" "$http_user_agent" "$http_cookie" "$request_body"‘
转换的结果是
- Generated goaccess config:
time-format %T
date-format %d/%b/%Y
log_format %h [%d:%t %^] "%r" %s %b "%R" "%u" "%^" "%r_body"
把结果保存为go.conf文件
然后就可以对nginx日志进行分析了
./goaccess -f nginx_access.log -p go.conf -o report.html
发现报错
Token already set for ‘%r‘ specifier.，那个因为%r_body不被支持，替换为
log_format %h [%d:%t %^] "%r" %s %b "%R" "%u" "%^" "%^"
如果要对日志进行实时分析
nohup ./goaccess -f nginx_access.log -p go.conf -o report.html --real-time-html --ws-url=report.xxx.com &
goaccess命令参数：
-a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项
-d --with-output-resolver 在HTML/JSON输出中开启IP解析，会使用GeoIP来进行IP解析
-f --log-file 需要分析的日志文件路径
-p --config-file 配置文件路径
-o --output 输出格式，支持html、json、csv
-m --with-mouse 控制面板支持鼠标点击
-q --no-query-string 忽略请求的参数部分
--real-time-html 实时生成HTML报告
--daemonize 守护进程模式，--real-time-html时使用
goaccess日期时间格式：
%a 星期几的简写
%A 星期几的全称
%b 月份的简写
%B 月份的全称
%c 标准的日期的时间串
%C 年份的前两位数字
%d 十进制表示的每月的第几天
%D 月/天/年
%e 在两字符域中，十进制表示的每月的第几天
%F 年-月-日
%g 年份的后两位数字，使用基于周的年
%G 年份，使用基于周的年
%h 简写的月份名
%H 24小时制的小时
%I 12小时制的小时
%j 十进制表示的每年的第几天
%m 十进制表示的月份
%M 十时制表示的分钟数
%n 新行符
%p 本地的AM或PM的等价显示
%r 12小时的时间
%R 显示小时和分钟：hh:mm
%S 十进制的秒数
%t 水平制表符
%T 显示时分秒：hh:mm:ss
%u 每周的第几天，星期一为第一天 （值从1到7，星期一为1）
%U 第年的第几周，把星期日作为第一天（值从0到53）
%V 每年的第几周，使用基于周的年
%w 十进制表示的星期几（值从0到6，星期天为0）
%W 每年的第几周，把星期一做为第一天（值从0到53）
%x 标准的日期串
%X 标准的时间串
%y 不带世纪的十进制年份（值从0到99）
%Y 带世纪部分的十制年份
%z，%Z 时区名称，如果不能得到时区名称则返回空字符。
%% 百分号
goaccess 格式标识：
%t 匹配time-format格式的时间字段
%d 匹配date-format格式的日期字段
%h host(客户端ip地址，包括ipv4和ipv6)
%r 来自客户端的请求行
%m 请求的方法
%U URL路径
%H 请求协议
%s 服务器响应的状态码
%b 服务器返回的内容大小
%R HTTP请求头的referer字段
%u 用户代理的HTTP请求报头
%D 请求所花费的时间，单位微秒
%T 请求所花费的时间，单位秒
%^ 忽略这一字段
如果nginx2goaccess转换的格式使用时会报错，请自行按以上格式标识编写
为了设置正确的log format，踩了不少坑，先列出来避免大家重复碰到。
（1） log format默认是按照空格分隔日志信息的，所以，对于包含了特殊字符如空格等信息的字段，必须包含在“”里面。如字段request http_user_agent等
（2） nginx日志格式里面，采用空格分隔，但是此处一定注意，只能用一个空格。当时我有个地方用了两个空格，直接导致goaccess结果出错。
（3） nginx日志中的每一个字段都要和log format中的一一对应，如果log format中不需要nginx中的某一个信息，则用%^跳过该信息。
（4） 对于nginx日志中的每一个 -， log format都需要一个%^来跳过， 如果是“-”， 则用“%^”
（5） 如果nginx日志信息中有：， 则需要在log format中也显示出来。例如nginx日志中$time_local就包含了：，所以在log format的相应位置也是 [%d:%t %^]
Nginx 日志记录post数据，并使用goaccess进行日志分析
标签：use raw epo query ESS goaccess 查看 geo set
原文地址：https://www.cnblogs.com/lbnnbs/p/12038327.html
