Centos6.6上rsyslog一些用法和扩展

标签：rsyslog

    友情提醒：本文系统环境vmware 10+Centos 6.6 x86_64,以下涉及到的命令和用法请谨慎使用。

       内容概括：

                (1)rsyslog的配置文件与日志内容结构解读

                (2)使用rsyslog做一台日志服务器

                (3)rsyslog日志文件的轮替

                (4)rsyslog与mariadb结合将日志信息写入数据库并使用loganalyzer进行管理

    日志对于系统的重要性不言而喻，比如对于故障诊断和入侵检测，没有日志几乎寸步难行。吐槽一下：微软你妹的，就不能把日志做的能让人看明白些，全是错误代码，去你官网查代码含义得到的也是让人费解。在此表扬一下Centos 6.6上使用的日志系统，记录的日志清晰明了，简单易读。收起恶心微软的心态，随我去看下centos6.6上的rsyslog 日志系统吧。

    一.rsyslog的配置文件与日志内容结构

    rsyslog是Centos6.6上用于记录应用程序产生日志的工具，当然应用程序自带日志记录工具的话就不使用rsyslog，比如httpd。rsyslog的官网是： http://www.rsyslog.com 

    在Centos 6.6 x86_64 上由rpm包：rsyslog-5.8.10-8.el6.x86_64.rpm 安装提供。

   ----------------------------------------------------

    /etc/rc.d/init.d/rsyslog 为rsyslog程序的启动管理脚本。

    /etc/sysconfig/rsyslog 为向rsyslog程序传递的参数文件。

    /etc/rsyslog.conf 是rsyslog的主配置文件。
    /etc/rsyslog.d 是rsyslog的辅助配置文件目录，以Centos特性，当配置项与主配置文件产生冲突时，以该辅助配置文件中的配置项信息为准。

    /sbin/rsyslogd 是二进制主程序。

    /lib64/rsyslog/*.so是rsyslog的模块文件。

    /usr/share/doc/rsyslog-5.8.10/ 是文档文件目录

    /usr/share/man/man5/rsyslog.conf.5.gz 是rsyslog主配置文件的man手册
    /usr/share/man/man8/rsyslogd.8.gz 是rsyslog 二进制主程序rsyslogd的man手册

    /var/log/ 是放置rsyslog记录的日志文件的位置。

    --------------------------------------------------

    rsyslog的主配置文件/etc/rsyslog.conf的结构和内容：

    默认情况下主配置文件/etc/rsyslog.conf由3部分组成：

    1） #### MODULES ####  --->启动/sbin/rsyslogd要加载的模块

        格式：

               $ModLoad module-name #注释

         $ModLoad 是关键字（/sbin/rsyslogd程序中定义的变量名）

         module-name：出现在/lib64/rsyslog/ 中的模块名称，记住不带.so

    2）  #### GLOBAL DIRECTIVES #### ----->全局规则设定

         格式：

               #注释

               规则内容

          例如：

             # Include all config files in /etc/rsyslog.d/
             $IncludeConfig /etc/rsyslog.d/*.conf

             含义为启动时要读取/etc/rsyslog.d/中所有以.conf为结尾的文件

    3) #### RULES #### ----->明细程序日志记录设定

       格式：

           #注释

           facility.priority         target

        facility:可理解为“产生日志对象”，例如：authpriv 是登陆认证的，mail 是邮件系统的。

        priority：指定的是日志级别，centos使用的日志级别如下，由低到高为：

            debug
            info
            notice
            warn, warning
            err, error
            crit
            alert
            emerg, panic

            级别越低产生的日志越明细越多，级别越高产生的日志越危险越少。

            指定级别的方式：
                *: 所有级别
                none: 没有级别，就是不记录的意思
                priority: 比此级别低的（包含该级别的）所有日志信息都会记录
                =priority: 仅记录指定级别

        target：将日志记录于指定的目标地点，可以有：

             系统文件中，例如：/var/log/secure

             用户：将日志信息通知给用户。

                  例如：系统默认emerg等级的日志就显示给系统上登陆用户：

                   # Everybody gets emergency messages
                   *.emerg                                                 *

             日志服务器：使用 @SERVER_ADDRESS 定义日志服务器地址

             管道：通过管道传递给某些命令。 | COMMAND

             在target前使用“-”表示异步写入。

        举例：

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

含义：系统上所有程序（不包括mail,authprive,cron这些程序）产生的，info等级还有比info等级低的debug等级的日志信息记录在/var/log/messages中。

     ------------------------------------------------------

    日志内容：以/var/log/secure中一条目为例

    May  9 07:52:33 Test01 sshd[1882]: Accepted password for root from 192.168.100.100 port 49818 ssh2

    May  9 07:52:33：日志条目产生的时间

    Test01：日志条目产生的主机（产生事件的地点）

    sshd[1882]：产生日志条目的程序和进程号（产生日志的人物）

    Accepted password for root from 192.168.100.100 port 49818 ssh2：日志内容（产生的时间事件）

     时间，地点，人物，事件--》这不就是中小学学的记叙文四要素嘛！！！

  二.使用rsyslog做一台日志服务器

    实验拓扑：

    实验角色设定：

    实验过程：

日志产生主机Test02上的配置：

    2.1）设定selinux状态和iptables防火墙

#测试网络连通性
[root@Test02 ~]# ping -c 1 192.168.100.1
PING 192.168.100.1 (192.168.100.1) 56(84) bytes of data.
64 bytes from 192.168.100.1: icmp_seq=1 ttl=64 time=3.75 ms
--- 192.168.100.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 4ms
rtt min/avg/max/mdev = 3.759/3.759/3.759/0.000 ms

#设定selinux状态为Permissive
[root@Test02 ~]# setenforce 0

#设定防火墙
[root@Test02 ~]# iptables -L -n
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           state RELATED,ESTABLISHED 
ACCEPT     icmp --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:22 
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         
[root@Test02 ~]#

    2.2）修改rsyslog的配置文件，将登陆认证日志发向Test01

[root@Test02 ~]# vim /etc/rsyslog.conf 
修改：
# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure
authpriv.*                                              @192.168.100.1   
:wq

    2.3)重启rsyslog进程

[root@Test02 ~]# service rsyslog  restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
[root@Test02 ~]#

日志服务器Test01上的配置：

    2.4）修改rsyslog配置文件启用UDP514端口

[root@Test01 ~]# vim /etc/rsyslog.conf 
# Provides UDP syslog reception
$ModLoad imudp$UDPServerRun 514
:wq

    2.5)重启rsyslog进程并观察端口

[root@Test01 ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
[root@Test01 ~]# 
[root@Test01 ~]# ss -uapn | grep --color 514
UNCONN     0      0                         *:514                      *:*      users:(("rsyslogd",3509,3))
UNCONN     0      0                        :::514                     :::*      users:(("rsyslogd",3509,4))
[root@Test01 ~]#

    2.6）设定防护墙和selinux

[root@Test01 ~]# setenforce 0
[root@Test01 ~]# iptables -IINPUT 2 -p udp -s 192.168.100.0/24 -d 192.168.100.1 --dport 514 -j ACCEPT
[root@Test01 ~]# iptables -L -n
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           state RELATED,ESTABLISHED 
ACCEPT     udp  --  192.168.0.0/24       192.168.100.1       udp dpt:514 
ACCEPT     icmp --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:22 
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         
[root@Test01 ~]#

    2.7)在Test02上用户登录观察Test01种/var/log/secure文件是否有关于Test02上登陆信息写入

    三. rsyslog的日志文件的轮替

系统的日志文件会随着使用天数和发生事件的增加在自动增长，对于7*24*365运行的服务器来说，如果没有一种机制限制这种增长，那么会有大部分的硬盘被消耗掉，linux系统设计了一种方式来解决这个问题：日志轮替。

 日志轮替就是使用一个程序名为/usr/sbin/logrotate程序根据配置文件的设定，使用同名的空的日志文件替换现有的日志文件，被替换掉的日志文件，被改名后放置或删除掉。

日志文件轮替示意图：

    /usr/sbin/logrotate使用的配置文件有2类：

主配置文件/etc/logrotate.conf

辅助配置文件/etc/logrotate.d/*

     *相同配置选项，辅助配置文件中的设定优先被使用。

     logrotate是依靠cron任务实现日志轮替执行的：

[root@Test01 logrotate.d]# rpm -qf /usr/sbin/logrotate
logrotate-3.7.8-17.el6.x86_64
[root@Test01 logrotate.d]# rpm -ql logrotate
/etc/cron.daily/logrotate  ----------------》看到了该程序安装后在cron.daily下建立的任务
/etc/logrotate.conf
/etc/logrotate.d
/usr/sbin/logrotate
/usr/share/doc/logrotate-3.7.8
/usr/share/doc/logrotate-3.7.8/CHANGES
/usr/share/doc/logrotate-3.7.8/COPYING
/usr/share/man/man5/logrotate.conf.5.gz
/usr/share/man/man8/logrotate.8.gz
/var/lib/logrotate.status
[root@Test01 logrotate.d]#

主配置文件/etc/logrotate.conf中设定：

[root@Test01 ~]# less /etc/logrotate.conf | egrep -v ‘(^$|^#)‘
weekly     ------->设定轮替期限为每周
rotate 4   ------->轮替后旧的日志文件保留4个周期
create     ------->创建新的空白文件
dateext    ------->使用时间做为轮替后文件的后缀
include /etc/logrotate.d  ----->程序启动同时读取该目录下文件的内容为轮替配置文件
/var/log/wtmp {           ----->针对/var/log/wtmp的做的设定
monthly                   ----->轮替周期为每月
create 0664 root utmp     ----->创建新的空白文件，权限为0664，属主root 属组utmp
minsize 1M                ----->当日志文件达到1M时，也可触发轮替
rotate 1                  ----->每次轮替后只保留1个旧文档
}
/var/log/btmp {           ----->针对/var/log/btmp做的设定
missingok                 ----->在做轮替时发生数据丢失也没问题 
monthly    
create 0600 root utmp    
rotate 1
}
[root@Test01 ~]#

辅助配置文件：/etc/logrotate.d/*

[root@Test01 ~]# cd /etc/logrotate.d
[root@Test01 logrotate.d]# ls     ---->可以看到该目录下文件的命名没有什么特殊要求
cups  dracut  httpd  mcelog  mysqld  numad  psacct  samba  syslog  vsftpd  yum
[root@Test01 logrotate.d]# less httpd
/var/log/httpd/*log {  ---->指明要被轮替的文件的位置
    missingok
    notifempty    --------->如果是空文件的话，不转储
    sharedscripts --------->该轮替动作只做一次，不管/var/log/httpd/*log能匹配多少日志文件
    delaycompress --------->转储的日志文件到下一次转储时才压缩
    postrotate    --------->在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
        /sbin/service httpd reload > /dev/null 2>/dev/null || true --->重新加载httpd配置文件
    endscript     --------->关键字，表示指明命令结束 
}

*更多logrotate的配置参数参见：# man 8 logrotate   

  从辅助配置文件中可以看到，其实设定日志文件轮替很容易：

    1）在/var/logrotate.d/ 下建立文件

    2）在1）建立的文件中指明要轮替的日志文件的位置和轮替参数

    3）让/usr/sbin/logrotate重新加载配置文件即可

小实验：手动实现日志文件的轮替

    1）建立轮替日志文件：/var/log/test.log

[root@Test01 ~]# touch /var/log/test.log
[root@Test01 ~]# cat /etc/inittab >>/var/log/test.log

    2)在/etc/logrotate.d/下建立指导/var/log/test.log轮替的指导文件test

[root@Test01 ~]# touch /etc/logrotate.d/test
[root@Test01 ~]# vim /etc/logrotate.d/test
/var/log/test.log {
    weekly
     minsize 3M
    create
    rotate 3
    compress
    sharedscripts
    postrotate
       /usr/bin/killall -HUP rsyslogd
    endscript
}

    3）使用logrotate命令手动触发轮替：

 # logrotate  [-vf]  logfile

 -v：显示过程

 -f：强制执行轮替，不管是否到达轮替条件。

 Logfile：一般都是 /etc/logrotate.conf

[root@Test01 ~]# ls /var/log
anaconda.ifcfg.log    anaconda.syslog   boot.log    cups        httpd    messages    sa       tallylog  yum.log
anaconda.log          anaconda.xlog     btmp        dmesg       lastlog  mysqld.log  samba    test.log
anaconda.program.log  anaconda.yum.log  ConsoleKit  dmesg.old   maillog  ntpstats    secure   wtmp
anaconda.storage.log  audit             cron        dracut.log  mcelog   prelink     spooler  xferlog

[root@Test01 ~]# logrotate -vf /etc/logrotate.conf 
。。。。。。。。。。

[root@Test01 ~]# ls /var/log/
anaconda.ifcfg.log    boot.log       dmesg.old            messages           secure-20150509       xferlog
anaconda.log          btmp           dracut.log           messages-20150509  spooler               xferlog-20150509
anaconda.program.log  btmp-20150509  dracut.log-20150509  mysqld.log         spooler-20150509      yum.log
anaconda.storage.log  ConsoleKit     httpd                ntpstats           tallylog              yum.log-20150509
anaconda.syslog       cron           lastlog              prelink            test.log
anaconda.xlog         cron-20150509  maillog              sa                 test.log-20150509.gz
anaconda.yum.log      cups           maillog-20150509     samba              wtmp
audit                 dmesg          mcelog               secure             wtmp-20150509

[root@Test01 ~]# vim /etc/logrotate.d/test 
[root@Test01 ~]# ll /var/log/test*
-rw-r--r--. 1 root root   0 May  9 15:47 /var/log/test.log
-rw-r--r--. 1 root root 484 May  9 15:47 /var/log/test.log-20150509.gz
#看到了吧这就是轮替后的被压缩的文件

    四.rsyslog同mariadb数据库结合，实现将日志条目存储于数据库

    实验拓扑：

     实验角色设定：

     实验过程：

日志产生主机Test02上的配置：

    4.1）设定selinux状态和iptables防火墙

#测试网络连通性
[root@Test02 ~]# ping -c 1 192.168.100.1
PING 192.168.100.1 (192.168.100.1) 56(84) bytes of data.
64 bytes from 192.168.100.1: icmp_seq=1 ttl=64 time=3.75 ms
--- 192.168.100.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 4ms
rtt min/avg/max/mdev = 3.759/3.759/3.759/0.000 ms

#设定selinux状态为Permissive
[root@Test02 ~]# setenforce 0

#设定防火墙
[root@Test02 ~]# iptables -L -n
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           state RELATED,ESTABLISHED 
ACCEPT     icmp --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           
ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:22 
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited 
Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         
[root@Test02 ~]#

    4.2）修改rsyslog的配置文件，将登陆认证日志发向Test01

[root@Test02 ~]# vim /etc/rsyslog.conf 
修改：
# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure
authpriv.*                                              @192.168.100.1   
:wq

   4.3)重启rsyslog进程

[root@Test02 ~]# service rsyslog  restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
[root@Test02 ~]#

日志服务器Test01上的配置：

     4.4)配置和启用mysql数据库

[root@Test01 local]# setenforce 0
[root@Test01 local]# service iptables stop

[root@Test01 local]# service mysqld start
Starting MySQL                                             [  OK  ]
[root@Test01 local]# ss -tlpn | grep --color 3306
LISTEN     0      50                        *:3306                     *:*      users:(("mysqld",1630,15))
[root@Test01 local]#

    4.5)安装rsyslog同maraidb连接的模块

[root@Test01 local]# yum -y install rsyslog-mysql
#这个模块程序包系统光盘上自带的有
[root@Test01 local]# rpm -ql rsyslog-mysql
/lib64/rsyslog/ommysql.so      ---->生成的模块
/usr/share/doc/rsyslog-mysql-5.8.10
/usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql  --->自带的生成rsyslog需要库表的工具
[root@Test01 local]#

    4.6）创建rsyslog在mysql中依赖的库和用户

[root@Test01 local]# mysql < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql
#这里mysql登陆用户使用的root因为没设定登陆密码，故命令这样使用。

[root@Test01 local]# mysql 
[root@Test01 yum.repos.d]# mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.1.73 Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog  -----------|-- >多了个Syslog库 
| mysql              |
| performance_schema |
| test               |
| vsftpd             |
+--------------------+
mysql> GRANT ALL ON Syslog.* TO ‘lijun‘@‘127.0.0.1‘ IDENTIFIED BY ‘redhat‘;
Query OK, 0 rows affected (0.09 sec)
#添加用户lijun用于rsyslog联系数据库

mysql> GRANT ALL ON Syslog.* TO ‘lijun‘@‘localhost‘ IDENTIFIED BY ‘redhat‘;
Query OK, 0 rows affected (0.00 sec)
#添加用户lijun用于rsyslog联系数据库

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

    4.7）配置rsyslog的主配置启用udp514端口和ommysql.so模块

[root@Test01 local]# vim /etc/rsyslog.conf
#### MODULES ####
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
#$ModLoad immark  # provides --MARK-- message capability
$ModLoad ommysql  #启用4.5）种生成的ommysql模块
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

#启用udp514用于监听客户端日志写入

# The authpriv file has restricted access.
#authpriv.*                                              /var/log/secure
authpriv.*                                               :ommysql:127.0.0.1,Syslog,lijun,redhat

#定义将关于登陆认证的信息写入数据库。  :模块名：SQLSERVER地址，库名，用户名，登陆密码

[root@Test01 local]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
[root@Test01 local]#   

    4.8）配置LAMP环境，安装loganalyzer 用于展示maraidb中记录的日志信息

配置LAMP系统环境，

[root@Test01 ~]# yum -y install httpd mysql-server mysql php php-mysql php-gd

安装loganalyzer：

[root@Test01 ~]# cd /var/www/html
[root@Test01 html]# mkdir tool
[root@Test01 html]# cd /root

[root@Test01 ~]# tar -xf loganalyzer-3.6.5.tar.gz
[root@Test01 ~]# cp -r loganalyzer-3.6.5/src/* /var/www/html/tool
[root@Test01 ~]# cp loganalyzer-3.6.5/contrib/* /var/www/html/tool
[root@Test01 ~]# cd /var/www/html/tool/
[root@Test01 tool]# chmod +x configure.sh secure.sh
[root@Test01 tool]# ./configure.sh

[root@Test01 tool]# chown -R apache.apache ./*

下面使用浏览器来安装吧：

4.9）配置防火墙

[root@Test01 ~]# service iptables  start
[root@Test01 tool]# iptables -IINPUT 2 -p udp -s 192.168.100.0/24 -d 192.168.100.1 --dport 514 -j ACCEPT
[root@Test01 tool]# iptables -IINPUT 3 -p tcp  -s 192.168.100.100 -d 192.168.100.1 --dport 80 -m state --state NEW  -j ACCEPT
[root@Test01 tool]# iptables -IINPUT 4 -p tcp  -d 192.168.100.1 --dport 80 -m state --state NEW  -j DROP

     好吧，这就是rsyslog上一些东东，有错误请指出。以下午又过去了，时间过的太快了

本文出自 “哥不是海盗” 博客，请务必保留此出处http://pirateli.blog.51cto.com/10063802/1649874

Centos6.6上rsyslog一些用法和扩展

标签：rsyslog

原文地址：http://pirateli.blog.51cto.com/10063802/1649874