需求篇公司最近因为审核需要部署一台中心日志服务器,其实为什么要部署日志服务器呢?1)主要是为了方便统一查看公司所有服务器的日志,并且写入到数据库中,进行web显示方便的查看；2)可以起到一定的安全作用，，如果黑客攻击之后，clearhistory的时候，我们也是可以查看的；3)另外..
分类：
数据库 时间：
2014-08-07 07:37:00
阅读次数：
297
#自搭建了个人博客有需要交流学习的可以访问www.wpython.com#!/usr/bin/envpython
importdatetime,os,sys,shutil
log_path=‘/alidata/log/nginx/access/‘
log_file=‘www.wpython.com.log‘
yesterday=(datetime.datetime.now()-datetime.timedelta(days=1))
try:
os.makedir..
分类：
编程语言 时间：
2014-08-07 07:32:10
阅读次数：
267
#!/bin/bash## Nginx 日志文件所在的目录LOGS_PATH=/usr/local/nginx/logs## 获取昨天的 yyyy-MM-ddYESTERDAY=$(date -d ”yesterday” +%Y-%m-%d)## 移动文件mv ${LOGS_PATH}/access...
分类：
其他好文 时间：
2014-08-05 13:44:19
阅读次数：
286
nginx的日志一直是写在一个文件上面，运行久了之后文件会非常大，因此我们有必要对nginx的日志进行分割：1234567891011#! /bin/bashACCESS_LOG=/data/nginx/www.logERROR_LOG=/data/nginx/error.logYESTERDAY=...
分类：
其他好文 时间：
2014-08-02 12:44:53
阅读次数：
237
前端时间写了个随笔 log4net.NoSql +ElasticSearch 实现日志记录 ，因项目原因需要把日志根java平台的同事集成采用logstash+kibana+elasticsearch+redis结构实现日志统计分析，所以需要一个将log4net日志输出到redis的组件。没有找到现...
分类：
Web程序 时间：
2014-08-01 13:21:35
阅读次数：
491
前言：早晨磁盘报警刚清空完tomcat和nginx日志，使用的命令是类似echo "" > show_web-error.log或者> show_web-debug.log清空语句，然后rm -rf 掉一些tar.gz包，空出来30G空间。而且也关闭了tomcat的debug信息。刚刚又接到报警，磁盘100%了。怎么回事？?1，进去df -h下，确实100%了，如下所示：[root@localho...
分类：
其他好文 时间：
2014-07-31 09:51:43
阅读次数：
310
最近有个业务建表使用了RegexSerDe，之前虽然也它来解析nginx日志，但是没有做深入的了解。这次看了下其实现方式。建表语句：CREATEexternalTABLEods_cart_log
(
time_localSTRING,
request_jsonSTRING,
trace_id_numSTRING
)
PARTITIONEDBY
(
dtstring,
hourstring
)
ROWFORMA..
分类：
其他好文 时间：
2014-07-31 03:11:15
阅读次数：
226
起因：公司使用的是Ucloud的云主机服务，今天上午突然被告知有一台服务器的出口流量激增，对外发包量短时间内达到了100万，而且都是UDP类型的，第一感觉就是：诶呀，莫不是被黑了，被当肉鸡了呀！探究：立马登录对应的服务器，首先使用iftop查看流量状况可以看出出口流量好吓人..
分类：
其他好文 时间：
2014-07-30 03:29:24
阅读次数：
289
本文是参考logstash官方文档实践的笔记，搭建环境和所需组件如下：Redhat 5.7 64bit / CentOS 5.xJDK 1.6.0_45logstash 1.3.2 (内带kibana)elasticsearch 0.90.10redis 2.8.4搭建的集中式日志分析平台流程如下：...
分类：
其他好文 时间：
2014-07-29 21:48:12
阅读次数：
527
ngx_log_if是Nginx的一个第三方模块。它在Github上的描述是这样介绍的：ngx_log_if是一个独立的模块,允许您控制不要写的访问日志,类似于Apache的"CustomLog env = XXX"...
分类：
其他好文 时间：
2014-07-24 23:38:03
阅读次数：
198
