码迷,mamicode.com
首页 > 其他好文 > 详细

十分钟搭建和使用ELK日志分析系统

时间:2018-07-26 13:09:00      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:分片   lan   arc   limits   分享图片   -o   查看   要求   cat   

前言

    为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat)。题目为“十分钟搭建和使用ELK日志分析系统”听起来有点唬人,其实如果单纯满足可视化要求,并且各软件都已经下载到本地,十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文中没有使用LOGSTASH做日志搜集过滤,但为了后期需要先进行了安装。

工作原理

ElasticSearch:是一个开源的分布式搜索引擎,其特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,Rest风格接口,多数据源,自动搜索负载等。
Logstash:是一个开源的日志收集和分析工具,能够将日志进行分析后,提供给ElasticSearch进行使用。
Kibana:可以为ElasticSearch和Logstash提供一个进行日志分析的友好Web界面,帮助汇总、分析、搜索重要日志。
Filebeat:是一个开源的文件收集器,最初是基于Logstash-forward源码的日志数据shipper,适合用于日志文件的收集。把Filebeat安装在服务器上,作为代理来监视日志目录或特定的日志文件,然后把日志数据转发到Logstash中进行分析,或者是直接转发到ElasticSearch中进行搜索。

技术分享图片

 

 

环境信息

IP 功能 软件 安装路径 操作系统
192.168.9.11 ELK openjdk1.8.0_171,elk6.3.2 rpm安装缺省路径 centos7.5
192.168.9.12 Filebeat sonarqube-scanner3.2.0 rpm安装缺省路径 centos6.8

 

 

 

 ELK下载地址:https://www.elastic.co/downloads/

搭建步骤

 1.系统基础环境的准备

#修改vm限制
vi /etc/sysctl.conf 
vm.max_map_count=655360
!wq   保存退出
sysctl -p

#修改文件和线程限制
vi /etc/security/limits.conf
* hard nofile 65536
* soft nofile 65536
* soft nproc 2048
* hard nproc 4096

#修改非root用户线程限制
vi /etc/security/limits.d/20-nproc.conf   #(修改soft行,新增hard行)
* soft nproc 65535

2.JDK及ELK的安装

#安装jdk
yum install java-1.8.0-openjdk -y  
#进入rpm包所在路径,进行安装
cd /usr/local/src
rpm -ivh elasticsearch-6.3.2.rpm
rpm -ivh logstash-6.3.2.rpm
rpm -ivh kibana-6.3.2-x86_64.rpm

3.配置文件配置(注意以上ELK安装完后现不要重启,先进行基本配置)

#elasticsearch配置
vim /etc/elasticsearch/elasticsearch.yml
network.host: 0.0.0.0 #修改为0.0.0.0 允许外部所有主机访问

#kib
vim /etc/kibana/kibana.yml 
server.host: "192.168.9.11" #修改为本机IP,否则外部用户将无法访问

4.服务启动及验证

#启动 elasticsearch
service elasticsearch start

#启动kibana
service kibana start

在浏览器中打开http://192.168.9.11:9200 验证elasticsearch是否启动,当看到如下信息,说明已正常启动。

技术分享图片

打开http://192.168.9.26:5601验证已kibana启动情况,当看到如下界面说明已启动(启动后要等待10秒左右至完全启动完成)

技术分享图片

 

5.filebeat的安装及配置及启动(在日志被搜集服务器上进行)

#安装filebeat
cd /usr/local/src
rpm -ivh filebeat-6.3.2-x86_64.rpm 

#配置filebeat,这里搜集tomcat及Node日志,通过tags进行区分
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/tomcat/logs/catalina.out
  tags: ["saas_server"]
- type: log
  enabled: true
  paths:
    - /usr/local/nodejs/workspace/saas_web/logs/saas-web*
  tags: ["saas_web"]

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.9.11:9200"]

#filebeat启动
service filebeat start

 

以上ELK+Filebeat安装完成后,就可以在Kinaba上进行配置使用了,首次使用先在“discover”处进行采集器添加,添加关键字为filebeat-*,(若是logstash则默认为logstash*),添加完成后就可以看到搜集到的日志。如下图:

技术分享图片

 

如上日志已经被搜集到elasticsearch中,并通过kibana呈现,另外还可以通过点击tags,分类查看Tomcat或node的日志,如上filebeat中已经通过tags进行了分类,至此在十分钟内日志系统已经搭建完毕。这仅仅是一个满足可视化的简单应用,若日志量大、需要权限认证、需要过滤等插件的复杂功能,就需要建立集群、增加缓冲、采用X-PACK,安装对应插件等。

可参考博客:https://www.cnblogs.com/frankdeng/p/9139035.html#4028638 和官方文档。

 

十分钟搭建和使用ELK日志分析系统

标签:分片   lan   arc   limits   分享图片   -o   查看   要求   cat   

原文地址:https://www.cnblogs.com/fishbook/p/9370089.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!