标签:linux loganalyzer rsyslog server
loganalyzer的安装使用
和rsyslog server的创建
一、为什么要建rsyslog
当我们有多台服务器需要记录日志时,分开的日志记录不便于分析,这时就需要用到集中式存储与分析。rsyslog支持把日志存储于mysql中,便于集中式存储与分析。
我们这里是从最基础的开始做起:先是建立rsyslog与mysql结合,建立rsyslog server,完成集中式存储与分析。然后为了比较分析的方便,加入loganalyzer,让分析比对更方便明了。
mysql性能是有限的,适用于小级别的日志信息,可能瓶颈:消耗磁盘I/O;
中小级别的日志系统不宜用此方式,用elk还是比较好用的,比如web日志;
大并发量(每秒数千成万)既不适用mysql,也不适用elk,用分布式mangodb、hbase等nosql中才合理,如facebook、google级别。
二、loganalyzer简介
LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案。
LogAnalyzer 采用php开发,所以日志服务器需要php的运行环境,本文采用LAMP。
三、loganalyzer的安装使用
(这一部分都是在服务器主机上操作)
我们这里是先实现rsyslog与mysql的结合,然后再与loganalyzer的结合,所以,一开始没有先构建好lamp。如果一开始就确定要使用loganalyzer,直接先构建lamp,再将rsyslog的日志数据存储指向mysql也是可以的。
(1) 有可用的MySQL服务器;
[root@blue_c ~]# yum install -y mysql-server
Installed:
mysql-server.x86_64 0:5.1.73-3.el6_5
Dependency Installed:
mysql.x86_64 0:5.1.73-3.el6_5 perl-DBD-MySQL.x86_64 0:4.013-3.el6
共安装了三个包,如果没法yum安装,就手动下载这三个包安装也可
[root@blue_c ~]# chkconfig | grep mysqld
mysqld 0:off 1:off 2:off 3:off 4:off 5:off 6:off
# chkconfig mysqld on
[root@blue_c ~]# chkconfig | grep mysqld
mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off
(2) 安装rsyslog-mysql程序包;
[root@blue_c ~]# yum install -y rsyslog-mysql
……
Installed:
rsyslog-mysql.x86_64 0:5.8.10-8.el6
Complete!
[root@blue_c ~]# rpm -ql rsyslog-mysql
/lib64/rsyslog/ommysql.so
/usr/share/doc/rsyslog-mysql-5.8.10
/usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql
[root@blue_c ~]#
安装的包,及生成的文件,主要就是生成了ommysql模块和createDB.sql。其中后者在下一步建日志数据库时会用到。
(3) 创建rsyslog依赖的数据库;
先启动mysqld服务器再创建
[root@blue_c ~]# service mysqld start
[root@blue_c ~]# mysql < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql
createDB.sql是一个创建日志数据库的脚本;创建的表名为Syslog、SystemEvents、SystemEventsProperties。
[root@blue_c ~]# mysql
(4) 修改配置文件 /etc/rsyslog.conf
① 配置rsyslog启用ommysql模块;
# vim /etc/rsyslog.conf #### MODULES #### 顶格添加如下行 $ModLoad ommysql
(ommysql这个名字怎么来的,请参阅 # man rsyslogconf中的MODULES部分)
② 定义某facility把日志记录至指定的数据库的指定表中;
#### RULES #### *.info;mail.none;authpriv.none;cron.none :ommysql:127.0.0.1,Syslog,monitor,123456
(5) 在mysql中,授权rsyslog用户可以访问使用数据库
mysql> GRANT ALL ON Syslog.* TO ‘monitor’@‘127.0.0.1’ IDENTIFIED BY ‘123456’; mysql> GRANT ALL ON Syslog.* TO ‘monitor’@‘localhost’ IDENTIFIED BY ‘123456’; mysql> FLUSH PRIVILEGES; # service rsyslog restart
这时设置的*.info;mail.none;authpriv.none;cron.none就会记录到mysql数据库中而不是原来的/var/log/messages中了
(6)验证并查看日志:
(这时就可以开始记录了,yum安装或删除一个程序包就可以有记录了)
mysql> use Syslog mysql> SELECT * FROM SystemEvents\G;
(7) 可选:使用loganalyzer (WebGUI)来展示日志信息;
依赖:lamp组件;
[root@blue_c ~]# yum install -y httpd php php-mysql php-gd …… Installed: httpd.x86_64 0:2.2.15-39.el6.centos php.x86_64 0:5.3.3-38.el6 php-gd.x86_64 0:5.3.3-38.el6 php-mysql.x86_64 0:5.3.3-38.el6 Dependency Installed: libXpm.x86_64 0:3.5.10-2.el6 php-pdo.x86_64 0:5.3.3-38.el6 Complete!
下载loganalyzer,并展开至网页DocumentRoot下(这里以loganalyzer-3.6.5为例)
[root@blue_c ~]# lftp 172.16.0.1:/pub/Sources/sources/loganalyzer> lftp 172.16.0.1:/pub/Sources/sources/loganalyzer> get loganalyzer-3.6.5.tar.gz [root@blue_c ~]# tar xf loganalyzer-3.6.5.tar.gz -C /var/www/html/ [root@blue_c html]# cp -r loganalyzer-3.6.5/src /var/www/html/loganalyzer [root@blue_c html]# cp loganalyzer-3.6.5/contrib/* /var/www/html/loganalyzer [root@blue_c html]# cd /var/www/html/loganalyzer [root@blue_c loganalyzer]# chmod +x configure.sh secure.sh [root@blue_c loganalyzer]# ./configure.sh [root@blue_c loganalyzer]# ./secure.sh [root@blue_c loganalyzer]# chmod 666 config.php [root@blue_c loganalyzer]# chown -R apache.apache ./*
访问:http://SERVER_IP/loganalyzer/install.php
四、构建rsyslog server
(一)在日志服务器上的操作:
1、日志服务器按照上面配置好。
2、编辑配置文件,打开日志服务器的监听端口:
[root@blue_c conf]# ss -unl | grep 514 [root@blue_c conf]# vim /etc/rsyslog.conf [root@blue_c conf]# service rsyslog restart Shutting down system logger: [ OK ] Starting system logger: [ OK ] [root@blue_c conf]# ss -unl | grep 514 UNCONN 0 0 *:514 *:* UNCONN 0 0 :::514 :::*
(二)在日志记录需求的客户端的操作:
① 需要先在客户端主机上设置好配置文件,并重启日志服务。
首先确定哪些日志需要发往远程主机记录,然后将需要有日志服务器代为记录的 target填写为服务器地址:
[root@holding ~]# vim /etc/rsyslog.conf *.info;mail.none;authpriv.none;cron.none @172.16.20.97
[root@holding ~]# service rsyslog restart
② 配置完毕,可以测试使用
在客户端安装一个程序包
[root@holding ~]# yum install -y zsh …… Installed: zsh.x86_64 0:4.3.10-7.el6 Complete!
查看日志服务器的loganalyzer:
loganalyzer的安装使用和rsyslog server的创建
标签:linux loganalyzer rsyslog server
原文地址:http://ctrry.blog.51cto.com/9990018/1651494