rsyslog与 logrotate 服务以及日志切割方法小结 [Logrotate、python、shell脚本实现 ]

# rsyslog configuration file

# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### MODULES ####

# The imjournal module bellow is now used as a message source instead of imuxsock.
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
#$ModLoad imklog # reads kernel messages (the same are read from journald)
#$ModLoad immark  # provides --MARK-- message capability

# Provides UDP syslog reception
# 允许514端口接收使用UDP协议转发过来的日志
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
# 允许514端口接收使用TCP协议转发过来的日志
#$ModLoad imtcp
#$InputTCPServerRun 514


#### GLOBAL DIRECTIVES ####

# Where to place auxiliary files

＃在哪里放置库文件

$WorkDirectory /var/lib/rsyslog

# Use default timestamp format

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# File syncing capability is disabled by default. This feature is usually not required,
# not useful and an extreme performance hit
#$ActionFileEnableSync on

# Include all config files in /etc/rsyslog.d/
$IncludeConfig /etc/rsyslog.d/*.conf

# Turn off message reception via local log socket;
# local messages are retrieved through imjournal now.
$OmitLocalLogging on

# File to store the position in the journal
$IMJournalStateFile imjournal.state


#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don‘t log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
# 记录所有日志类型的info级别以及大于info级别的信息到/var/log/messages，但是mail邮件信息，authpriv验证方面的信息和cron时间任务相关的信息除外

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure
# authpriv验证相关的所有信息存放在/var/log/secure

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog
# 邮件的所有信息存放在/var/log/maillog; 这里有一个-符号,表示是使用异步的方式记录, 因为日志一般会比较大

# Log cron stuff
cron.*                                                  /var/log/cron
# 计划任务有关的信息存放在/var/log/cron

# Everybody gets emergency messages
*.emerg                                                 :omusrmsg:*
# 记录所有的大于等于emerg级别信息, 以wall方式发送给每个登录到系统的人，*代表所有在线用户

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler
# 记录uucp,news.crit等存放在/var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log


# ### begin forwarding rule ###
# 转发规则
# The statement between the begin ... end define a SINGLE forwarding
# rule. They belong together, do NOT split them. If you create multiple
# forwarding rules, duplicate the whole block!
# Remote Logging (we use TCP for reliable delivery)
#
# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 1g   # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList   # run asynchronously
#$ActionResumeRetryCount -1    # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional             #远程主机及端口
#*.* @@remote-host:514
# @@表示通过tcp协议发送  @表示通过udp进行转发
# ### end of the forwarding rule ###

/etc/logrotate.conf
/etc/logrotate.d/

# see "man logrotate" for details
# rotate log files weekly
默认每一周执行一次rotate轮转工作
weekly 

# keep 4 weeks worth of backlogs
保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数，0 指没有备份
rotate 4

# create new (empty) log files after rotating old ones
自动创建新的日志文件，新的日志文件具有和原来的文件相同的权限；因为日志被改名,因此要创建一个新的来继续存储之前的日志
create

# use date as a suffix of the rotated file
这个参数很重要！就是切割后的日志文件以当前日期为格式结尾，如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式
dateext

# uncomment this if you want your log files compressed
是否通过gzip压缩转储以后的日志文件，如xxx.log-20131216.gz ；如果不需要压缩，注释掉就行
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# no packages own wtmp and btmp -- we‘ll rotate them here
/var/log/wtmp {                     仅针对 /var/log/wtmp 所设定的参数
    monthly                         每月一次切割,取代默认的一周
    create 0664 root utmp           指定新建的日志文件权限以及所属用户和组
        minsize 1M                  文件大小超过 1M 后才会切割
    rotate 1                        只保留一个日志
}
# 这个 wtmp 可记录用户登录系统及系统重启的时间
# 因为有 minsize 的参数，因此不见得每个月一定会执行一次喔.要看文件大小。

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

[root@welkin logrotate.d]# cat nginx 
/var/log/nginx/*log {
    create 0664 nginx root
    daily
    rotate 10
    missingok
    notifempty
    compress
    sharedscripts                   # 
    postrotate
        /bin/kill -USR1 `cat /run/nginx.pid 2>/dev/null` 2>/dev/null || true
    endscript
}

# /usr/sbin/logrotate -f /etc/logrotate.d/nginx
# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

logrotate命令格式：
logrotate [OPTION...] <configfile>
-d, --debug           ：debug模式，测试配置文件是否有错误。
-f, --force           ：强制转储文件。
-m, --mail=command    ：压缩日志后，发送日志到指定邮箱。
-s, --state=statefile ：使用指定的状态文件。
-v, --verbose         ：显示转储过程。

# /usr/sbin/logrotate -v /etc/logrotate.conf
# /usr/sbin/logrotate -v /etc/logrotate.d/php

# /usr/sbin/logrotate -d /etc/logrotate.conf
# /usr/sbin/logrotate -d /etc/logrotate.d/nginx

# cat /var/lib/logrotate/logrotate.status

compress                                    通过gzip 压缩转储以后的日志
nocompress                                  不做gzip压缩处理
copytruncate                                用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                              备份日志文件不过不截断
create mode owner group                     轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                                    不建立新的日志文件
delaycompress                               和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                             覆盖 delaycompress 选项，转储同时压缩。
missingok                                   如果日志丢失，不报错继续滚动下一个日志
errors address                              专储时的错误信息发送到指定的Email 地址
ifempty                                     即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                                  当日志文件为空时，不进行轮转
mail address                                把转储的日志文件发送到指定的E-mail 地址
nomail                                      转储时不发送日志文件
olddir directory                            转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir                                    转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                               运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate                                   在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate                                  在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily                                       指定转储周期为每天
weekly                                      指定转储周期为每周
monthly                                     指定转储周期为每月
rotate count                                指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                                     使用当期日期作为命名格式
dateformat .%s                              配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size                    当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).

当日志文件 >= log-size 的时候就转储。           以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

#!/bin/bash
#设置日志文件存放目录
logs_path="/usr/local/nginx/logs"
#设置pid文件
pid_path="/usr/local/nginx/run/nginx.pid"

#重命名日志文件
mv ${logs_path}/access.log ${logs_path}/access_$(date -d "yesterday" +"%Y%m%d").log

#向nginx主进程发信号重新打开日志
kill -USR1 `cat ${pid_path}`

#定期删除日志
find $logs_path -mtime +31 -type f|xargs rm -rf