遇到问题：nginx日志包含非常重要的信息。比如upstream_response_time和request_time。现需求监控改值。解决问题：编写python脚本，通过nagioscheck_nrpe插件完成监控。前提了解：nginx日志格式：log_formatmain‘$remote_addr|$time_local|$request|$status|$body_bytes_sent|$..
分类：
移动开发 时间：
2016-09-14 00:29:11
阅读次数：
344
需求：因nginx做了防刷机制之后，error.log会出现ip刷服务器，也被nginx挡掉了，并没有具体刷到后端服务器，但error.log多次出现ip，现计划把出现5次以上的ip写入黑名单。nginxlog日志格式：2016/09/0501:11:07[info]1354#0:*11981355139limitingconnectionsbyzone"limit",clie..
分类：
编程语言 时间：
2016-09-06 23:24:46
阅读次数：
377
一、ETL操作 抽取数据 日志格式： 分割符号：^A IP地址 服务器时间 二、Java工程 1. 创建项目 copy代码及配置文件 2. 改配置 core-site.xml hbase-site.xml 3. 代码描述 common包：常量(字段常量) dimension包：自定义key valu ...
分类：
其他好文 时间：
2016-09-04 11:28:20
阅读次数：
128
日志文件配置与切割 自定义日志格式 http { server { listen 80 default; server_name _*; access_log logs/default.access.log combined; location / { index index.html; root ...
分类：
其他好文 时间：
2016-09-01 23:05:50
阅读次数：
187
如：过滤出8月30号22点到8月31号8点的secure日志日志格式：Aug3103:00:01localhostcrond[21772]:pam_limits(crond:session):unknownlimittype‘proc‘
Aug3103:01:01localhostcrond[21775]:pam_limits(crond:session):unknownlimittype‘proc‘
Aug3103:01:01localhostcrond[21775]..
分类：
系统相关 时间：
2016-08-31 12:20:59
阅读次数：
285
由于logstash会自动将@timestamp时间转成UTC时间，网上搜了很多种方法无果后。只好从日志中提取年月日来进行按北京时间分表。日志格式JSON:{"@timestamp":"2016-08-22T09:13:06.024Z",......}input{
redis{
host=>"192.168.1.21"
port=>"6379"
key=>"filebeat"
data_..
分类：
其他好文 时间：
2016-08-22 23:46:36
阅读次数：
1204
用户请求一个页面，日志除了会记录页面的URL以外，页面里的静态文件的URL同样也会被加载，从而被记录到访问日志里去，这个日志量是很大的，会妨碍我们分析日志，因为其实我们只是想看看用户访问的页面的URL，而不是页面里面的静态文件。1.定义日志格式：vim/usr/local/nginx/co..
分类：
其他好文 时间：
2016-08-22 16:23:59
阅读次数：
112
nagios日志格式化时间戳脚本logformat.sh#!/bin/bash
#对nagios日志时间进行格式转换
name=$1
perl-i-pe‘($t)=($_=~m/^\[(\d+)\]/);$nice=scalarlocaltime$t;s/^\[(\d+)\]/[$nice]/‘${name}你可以执行bashlogformat.sh加你的日志文件名转换前的格式：[1470255922]EXTERNALCOMMA..
分类：
移动开发 时间：
2016-08-20 14:47:36
阅读次数：
245
归档日志的格式是由LOG_ARCHIVE_FORMAT参数决定的，因此了解该参数所定义的内容即可。Oracle官方文档中有关归档日志格式描述信息请参考“LOG_ARCHIVE_FORMAT”（http://download.oracle.com/docs/cd/B19306_01/server.10 ...
分类：
其他好文 时间：
2016-08-13 01:10:47
阅读次数：
314
参考http://www.ttlsa.com/nginx/use-nginx-proxy/配置1.要想能记录真实IP，需要修改后端机器的日志格式，这里假设后端也是一台nginx：在后端配置文件里面加入这一段即可：log_formataccess‘$HTTP_X_REAL_IP-$remote_user[$time_local]"$request"‘‘$status$body_bytes_sent"$ht..
分类：
其他好文 时间：
2016-08-04 19:41:02
阅读次数：
158
