码迷,mamicode.com
首页 > 系统相关 > 详细

Linux搭建ELK日志收集系统:FIlebeat+Redis+Logstash+Elasticse

时间:2018-08-09 17:31:06      阅读:300      评论:0      收藏:0      [点我收藏+]

标签:加强   conf   文件   over   客户端安装   编译   过程   arch   centos6   

Centos7部署ELK日志收集系统

一、ELK概述:

ELK是一组开源软件的简称,其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速,已经成为目前最流行的集中式日志解决方案。

  • Elasticsearch: 能对大容量的数据进行接近实时的存储,搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。

  • Logstash: 数据收集引擎,它支持动态的的从各种数据源获取数据,并对数据进行过滤,分析,丰富,统一格式等操作,然后存储到用户指定的位置。

  • Kibana: 数据分析与可视化平台,对Elasticsearch存储的数据进行可视化分析,通过表格的形式展现出来。

  • Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据,并发送给logstash进行解析,或是直接发给Elasticsearch存储。

  • Redis:NoSQL数据库(key-value),也数据轻型消息队列,不仅可以对高并发日志进行削峰还可以对整个架构进行解耦

传统ELK的经典框架

技术分享图片

单一的架构,logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。

新型ELK框架

技术分享图片

Filebeats是一种轻量级的日志搜集器,其不占用系统资源,自出现之后,迅速更新了原有的elk架构。Filebeats将收集到的数据发送给Logstash解析过滤,在Filebeats与Logstash传输数据的过程中,为了安全性,可以通过ssl认证来加强安全性。之后将其发送到Elasticsearch存储,并由kibana可视化分析。

二、新型ELK搭建详细过程

实验环境:

主机 IP 部署程序
1 192.168.3.206 filebeat
2 192.168.3.205 redis,logstash,elasticsearch,kibana

下面是搭建过程中所需程序安装包:
https://pan.baidu.com/s/1w02WtUAqh9yX4TChyMLa5Q 密码:g0p9

  1. 客户端部署filebeat:

    yum -y install filebeat
    #查看配置文件所在位置
    rpm -qc filebeat
  2. 修改配置文件使filebeat获取的日志进入redis:
    注:此处演示获取spring cloud框架中eureka日志,其他程序日志都可相同方法获取
vim /etc/filebeat/filebeat.yml
#修改的内容有一家几个字段
enabled:true
paths:程序日志路径
output.redis:日志输出地方
                    hosts:redis所在服务器IP
                    port:redis端口
                    key:redis中的key

技术分享图片


  1. 源码安装redis:

解压redis程序包:

tar zxf redis-3.2.9.tar.gz –C /usr/local/src

编译redis:

cd /usr/local/src/redis-3.2.9
make && make install
ln –s /usr/local/src/redis-3.2.9 /usr/local/redis

注:redis安装时有的缺少语言环境会出错,有的会出现奇奇怪怪的问题,只要复制Error到往上搜索下就能轻易解决,在此不多做解释

修改redis配置文件:

vim /usr/local/redis/redis.conf
#修改内容如下:
daemonize yes                           #开启后台运行
timeout 120                                #超时时间
bind 0.0.0.0                                #任何地址IP都可以登录redis
protected-mode no                     #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败

注:此处是做演示,如果是线上部署elk建议开启持久化机制,保证数据不丢失

  1. 登录测试redis是否可以正常写入数据:
    技术分享图片

  2. 启动filebeat看看redis是否能接收到数据:

启动filebeat:

systemctl start filebeat
  1. 进入redis查看是否有数据:

    #执行命令:
    keys *                          #查看所有key,此操作为慢查询,若redis跑了大量线上业务请不要进行此操做
    lrange eureka-log 0 -1 #查询key所有数据,若filebeat启动时间过长请勿进行此操作

    技术分享图片

  2. 安装jdk1.8:

解压jdk安装包并创建软连接:

tar zxf /usr/local/src/jdk-8u131-linux-x64.tar.gz –C /usr/local/
ln -s /usr/local/jdk1.8.0_91/ /usr/local/jdk

配置环境变量:

vim /etc/profile
#修改内容如下:
JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

重新载入环境变量:

source /etc/profile

查看jdk是否安装成功:

java -version

技术分享图片

  1. 安装Elasticsearch:

解压安装包并改名:

unzip elasticsearch-5.6.3.zip -d /usr/local/
mv /usr/local/ elasticsearch-5.6.3 /usr/local/elasticsearh

修改ES配置文件:

vim /usr/local/elasticsearch/config/elasticsearch.yml

#这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现
cluster.name: my-application
node.name: node-1

#目录需要手动创建
path.data: /opt/elk/data
path.logs: /opt/elk/logs

#ES监听地址任意IP都可访问
network.host: 0.0.0.0
http.port: 9200

#若是集群,可在里面引号中添加,逗号隔开
discovery.zen.ping.unicast.hosts: [“192.168.3.205”]

# enable cors,保证_site类的插件可以访问es    
http.cors.enabled: true             #手动添加
http.cors.allow-origin: “*”         #手动添加

# Centos6不支持SecComp,而ES5.2.0默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动
bootstrap.memory_lock: false        #手动添加
bootstrap.system_call_filter: false     #手动添加

注:ES启动的时候回占用特别大的资源所以需要修改下系统参数,若不修改资源启动会异常退出

  1. 修改系统参数:
vim /etc/sysctl.conf
#添加参数
vm.max_map_count=655360

重新载入配置:

sysctl –p
  1. 修改资源参数:
vim /etc/security/limits.conf
#修改

*   soft    nofile  65536
*   hard        nofile  131072  
*   soft        nproc   65536
*   hard        nproc   131072 

如:
技术分享图片

  1. 设置用户资源参数:
vim /etc/security/limits.d/20-nproc.conf
#添加
elk     soft    nproc       65536
  1. 创建用户并赋权:

    useradd elk
    groupadd elk
    useradd elk -g elk
  2. 创建数据和日志目录并修改目录权限:
mkdir –pv /opt/elk/{data,logs}
chown –R elk:elk /opt/elk
chown –R elk:elk /usr/local/elasticsearch
  1. 切换用户并后台启动ES:(elk用户修改了资源参数,如不切位elk用户启动会暴毙)
su elk
nohup /opt/app/elasticsearch-5.6.3/bin/elasticsearch >> /dev/null 2>&1 &
  1. 查看ES状况:
    方法一、
    curl ‘http://[ES IP]:9200/_search?pretty‘

方法二、
#网页访问:
http://[ES IP]:9200/_search?pretty

  1. 安装logstash:

解压并创建软连接:

tar /usr/local/src/logstash-5.3.1.tar.gz –C /usr/local/
ln –s /usr/local/logstash-5.3.1 /usr/local/logstash

测试logstash是否可用:

/usr/local/logstash/bin/logstash -e ‘input { stdin { } } output { stdout {} }‘

技术分享图片

在此创建主配文件进行测试:

vim /usr/local/logstash/config/logstash-simple.conf
#内容如下:
input { stdin { } }
output {
    stdout { codec=> rubydebug }
}

使用logstash参数-f读取配置文件进行测试:

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash-simple.conf

技术分享图片

此时说明我们的logstash是完全没有问题了,可以进行日志收集了

  1. 创建配置文件获取redis日志的数据:

配置文件如下:

vim /usr/local/logstash/config/redis-spring.conf 
input {
  redis {
    port => "6379"
    host => "192.168.3.205"
    data_type => "list"
    type => "log"
    key => "eureka-log"
  }
}
output {
  elasticsearch {
     hosts => "192.168.3.205:9200"
     index => "logstash1-%{+YYYY.MM.dd}"
  }
}

通过配置文件启动服务查看效果:

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/redis-spring.conf

结果如下:
技术分享图片

此时我们再去查看reids中key:(此时已经没有数据了,数据已经被logstash取完)
技术分享图片

  1. 使用curl 查看ES是否接受到数据
curl http://192.168.3.205:9200/_search?pretty

结果如下:
技术分享图片

此时说明我们logstash从redis中取数据,在把数据推到ES中是ok的!

  1. 安装ES插件:(elasticsearch-head)

注:head安装需要从国外网站拉去东西,可能网速过慢导致安装失败(可以多试几次),下面有几种方法安装:

方法一、
导入node-v8.2.1.tar.gz phantomjs-2.1.1-linux-x86_64.tar.bz2 安装包
安装node:
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure && make && make install 

安装phantomjs:
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin/
cp phantomjs /usr/local/bin/

导入es-head程序包并解压:
unzip master.zip –d /usr/local/
cd elasticsearch-head/
npm install
npm run start &

查看端口状态:(端口默认9100)
netstat –anpt | grep 9100

方法二、
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
netstat –anpt | grep 9100

方法三、
拉镜像:
docker push mobz/elasticsearch-head:5
启动镜像:
docker run -p 9100:9100 mobz/elasticsearch-head:5
web访问测试:
http://IP:9100
  1. Elasticsearch-head安装成功Web访问结果如下:
    技术分享图片

查看刚刚从logstash推到ES中的数据:
技术分享图片

  1. 安装kibana

解压并安装kibana:

tar -zxvf /usr/local/src/kibana-5.3.1-linux-x86_64.tar.gz -C /usr/local/

修改kibana配置文件:

vim /usr/local/kibana-5.3.1-linux-x86_64/config/kibana.yml
修改内容如下:
server.port: 5601                                                            #开启默认端口5601
server.host: “192.168.3.205”                                    #kibana站点IP
elasticsearch.url: http://192.168.3.205:9200        #只想ES服务所在IP Port
kibana.index: “.kibana”

后台启动kibana:

nohup /usr/local/kibana-5.3.1-linux-x86_64/bin/kibana >> /dev/null 2>&1 &

查看端口监听:

netstat –anot | grep 5601

结果如:(此结果表示kibana启动成功)
技术分享图片

使用Web访问kibana:

http://[Kibana IP]:5601

初次访问结果如:(刚访问的时候没有创建索引所以没有看不到数据)
技术分享图片

根据logstash配置文件中index设置索引:
首先查看logstash中的index:
技术分享图片

Kibana中创建index:
技术分享图片

下面按照1,2,3,4顺序进行设置:
技术分享图片

此时我们在返回Discover在里面我们就可以看到数据了:
技术分享图片


至此我们的ELK就安装OK了!!!!!!!!!!!

Linux搭建ELK日志收集系统:FIlebeat+Redis+Logstash+Elasticse

标签:加强   conf   文件   over   客户端安装   编译   过程   arch   centos6   

原文地址:http://blog.51cto.com/13859393/2156844

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!