码迷,mamicode.com
首页 > 其他好文 > 详细

elkb+redis建立日志收集分析系统

时间:2018-05-31 12:23:49      阅读:226      评论:0      收藏:0      [点我收藏+]

标签:elk   redis   

一、ELKB说明

elastic提供了一套非常高级的工具ELKB来满足以上这几个需求。ELKB指的是用于日志分析或者说数据分析的四个软件,各自拥有独立的功能又可以组合在一起。先来简单介绍一下这四个软件。

Elastic Search: 从名称可以看出,Elastic Search 是用来进行搜索的,提供数据以及相应的配置信息(什么字段是什么数据类型,哪些字段可以检索等),然后你就可以自由地使用API搜索你的数据。

Logstash:。日志文件基本上都是每行一条,每一条里面有各种信息,这个软件的功能是将每条日志解析为各个字段。

Kibana:提供一套Web界面用来和 Elastic Search 进行交互,这样我们不用使用API来检索数据了,可以直接在 Kibana 中输入关键字,Kibana 会将返回的数据呈现给我们,当然,有很多漂亮的数据可视化图表可供选择。

Beats:安装在每台需要收集日志的服务器上,将日志发送给Logstash进行处理,所以Beats是一个“搬运工”,将你的日志搬运到日志收集服务器上。 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。所以说filebeat就是logstash-agent端的取代产品。且性能优良。

日志系统架构

技术分享图片技术分享图片

开始搭建日志系统

首先去ELK官网下载相应的压缩包 :https://www.elastic.co/downloads

安装

这里使用CentOS 7为例来说明怎么装这几个软件。其中ELK只需要安装在进行日志收集分析的服务器(server)上,而Beats是每一台产生日志的机器(client)都需要安装,当然也可能包括日志收集服务器本身。安装之前关闭防火墙,关闭selinux

1.首先配置 filebeat。

  安装filebeat。只需 yum -y install filebeat

curl -L -O  https://download.elastic.co/beats/filebeat/filebeat-5.0.0-x86_64.rpm

yum -y install  filebeat-5.0.0-x86_64.rpm

安装完成后,修改配置文件 /etc/filebeat/filebeat.yml

内容如下:

  1. filebeat.prospectors:  

  2. - type: log  

  3.  enabled: true       ###启用此配置

  4.  paths:  

  5.    - /var/log/nginx/*.log      ###指明读取文件的位置,可指定多个

  6.    - /var/log/tomcat/*.log

  7. filebeat.config.modules:  

  8.  path: ${path.config}/modules.d/*.yml  

  9.  reload.enabled: false  

  10. setup.template.settings:  

  11.  index.number_of_shards: 3 

  12. setup.kibana:  

  13. output.redis:  

  14. hosts: ["192.168.10.10:6379"]  

  15. key: "nginx-log"

  16. password: ""     ###如果没有密码可以省略

  17. db: 0                 ###指定redis数据库,默认第一个数据库是0,可以省略

  18. timeout: 5         ###可以省略 

这样的配置是 从 /var/log/nginx下读取所有以.log结尾的文件。且发送到redis。且redis中以list方式存储。键名为 nginx-log配置完成后。先启动redis,再启动filebeat。

systemctl enable filebeat

systemctl start filebeat

2.安装配置启动redis

vim  /opt/soft/redis-4.0.8/redis.conf

bind 0.0.0.0

port 6379

daemonize yes     ### 开启守护进程模式

redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时,代表开启守护进程模式。在该模式下,redis会在后台运行,并将进程pid号写入至redis.conf选项pidfile设置的文件中,此时redis将一直运行,除非手动kill该进程。但当daemonize选项设置成no时,当前界面将进入redis的命令行界面,exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。

logfile "/var/log/redis.log"

redis-server  /opt/soft/redis-4.0.8/redis.conf

3.安装配置启动logstash

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

cat  <<  EOF > /etc/yum.repos.d/logstash.repo

[logstash-6.x]

name=Elastic repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

   type=rpm-md

EOF

创建好仓库后使用yum安装

yum -y install logstash

systemctl enable logstash

systemctl start logstash

chown -R logstash:logstash   /etc/logstash/*

mkdir  /usr/share/logstash/config

ln -s /etc/logstash/*  /usr/share/logstash/config/

测试

./logstash -e "input{stdin{}}output{stdout{codec=>rubydebug}}"

this is a test !Sending Logstash's logs to /var/log/logstash which is now configured via log4j2.properties

The stdin plugin is now waiting for input:

{

          "host" => "test03",

      "@version" => "1",

       "message" => "this is a test !",

    "@timestamp" => 2018-04-10T10:48:34.858Z

}

说明正常

接下来应该让logstash从redis中间键中读取数据。那么配置logstash。配置文件为 /etc/logstash/conf.d/logstash.conf

vim  /etc/logstash/conf.d/logstash.conf

input {

    redis {

        data_type => "list"

        key => "nginx-log"

        host => "192.168.10.10"

        port => 6379

  }

}

output {

    elasticsearch {

        hosts => ["192.168.10.8:9200"]

        manage_template => false

        index => "nginx-log-%{+YYYY.MM.dd}"

  }

}

systemctl enable logstash

systemctl start logstash

安装elasticsearch

yum -y install elasticsearch-6.2.3.rpm

vim  /etc/elasticsearch/elasticsearch.yml

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 192.168.10.8

http.port: 9200

systemctl enable  elasticsearch

systemctl start  elasticsearch

安装kibana

yum -y install kibana-6.2.3-x86_64.rpm

vim /etc/kibana/kibana.yml

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.url: "http://192.168.10.8:9200"

systemctl enable kibana

systemctl start kibana

kibana汉化方法:https://github.com/anbai-inc/Kibana_Hanization

git clone https://github.com/anbai-inc/Kibana_Hanization.git

python main.py /usr/share/kibana/

汉化之后需要重启服务


时间久了,日志文件过多占用空间,需要清理,命令如下:

清理2018年4月12号的日志

curl -XDELETE 'http://192.168.10.8:9200/nginx-log-2018.04.12'

清理2018年4月的日志

curl -XDELETE 'http://192.168.10.8:9200/nginx-log-2018.04.*'

清除所有索引日志

curl -XDELETE 'http://192.168.10.8:9200/*'

如果清理了所有的索引日志,kibana里面没有了索引,无法查看日志,重启logstash服务即可自动生成当天的日志索引。

可以写到脚本里面并添加计划任务


elkb+redis建立日志收集分析系统

标签:elk   redis   

原文地址:http://blog.51cto.com/7072753/2122363

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!