elk

标签：service   防火墙   三件套   客户端   操作系统   

介绍：ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。Logstash：负责在客户端收集日志信息
ElasticSearch（es）：负责将logstash 收集的信息整理存储并建立索引es会建立索引并且把日志信息存放在索引中es多节点：可做集群，会进行选举，会选出一个主节点Kibana：是一个web界面，便于日志分析

本文把ELK套件部署在一台CentOS单机上。

具体的版本要求如下：

• 操作系统版本：CentOS 6.4；

• JDK版本：1.8.0；

• Logstash版本：1.4.2；

• ElasticSearch版本：1.4.2；

• Kibana版本：4.1.2；

为了正常使用HTTP服务等，需要关闭防火墙：

1. # service iptables stop  

一、安装ElasticSearch (简称es)：

1、ElasticSearch和Logstash依赖于JDK，所以需要安装JDK：

# yum -y install java-1.8.0-openjdk*  

# java -version

2、ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300。

下载ElasticSearch：

# mkdir -p /soft  

# sudo wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.tar.gz 

# sudo tar zxvf elasticsearch-1.6.0.tar.gz -C /usr/local/  

# ln -s /usr/local/elasticsearch-1.6.0 /usr/local/elasticsearch  

3、启动ElasticSearch服务：

# /usr/local/elasticsearch/bin/elasticsearch -d

#  启动后等会才能看到端口

 netstat -nptul   #查看端口 9200  和  9300  

4、测试ElasticSearch服务是否正常，预期返回200的状态码：

# curl -X GET http://10.0.0.51:9200  

1. {

2.   "status" : 200,

3.   "name" : "Immortus",

4.   "cluster_name" : "elasticsearch",

5.   "version" : {

6.     "number" : "1.6.0",

7.     "build_hash" : "cdd3ac4dde4f69524ec0a14de3828cb95bbb86d0",

8.     "build_timestamp" : "2015-06-09T13:36:34Z",

9.     "build_snapshot" : false,

10.     "lucene_version" : "4.10.4"

11.   },

12.   "tagline" : "You Know, for Search"

5、安装es插件

Elasticsearch-kopf插件可以查询Elasticsearch中的数据

elasticsearch-marvel插件

elasticsearch-head插件可以查询Elasticsearch中的数据和 kopf差不多

# /usr/local/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
# /usr/local/elasticsearch/bin/plugin -i elasticsearch/marvel/latest
# /usr/local/elasticsearch/bin/plugin -i mobz/elasticsearch-head

6、访问插件http://10.0.0.51:9200/_plugin/marvel
http://10.0.0.51:9200/_plugin/head/

http://10.0.0.51:9200/_plugin/kopf

2、简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：

# /usr/local/logstash/bin/logstash -e ‘input { stdin { } } output { stdout {} }‘  

this is a test      #如入测试内容（等待一会）

2016-05-23T23:31:14.525+0000 0.0.0.0 this is a test        #看到输出测试内容

3、创建Logstash配置文件，并再次测试Logstash服务是否正常，预期可以将输入内容以结构化的日志形式打印在界面上：

# mkdir -p /usr/local/logstash/etc  

# vim /usr/local/logstash/etc/hello_search.conf  

input {  

  stdin {  

   type => "human"  

 }  

  file {

   type => "messages"

    path => ["/var/log/messages"]

  }

}  

output {  

  stdout {  

    codec => rubydebug  

  }  

  elasticsearch {  

    host => "10.0.0.51"     #指定es服务器所在ip

    port => 9300  

  }  

}  

启动logstash：

# /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf  

test       #输入内容（等一会）

{ 

       "message" => "test",           #输出内容

      "@version" => "1",

    "@timestamp" => "2016-05-23T23:41:17.098Z",

          "type" => "human",

          "host" => "0.0.0.0"

三、安装Kibana1、解压kibana

2、修改kibana配置文件

3、启动kibana

# nohup /usr/local/kibana/bin/kibana & # 查看端口 5601： # netstat -npult|grep java

4、访问kibana: http://10.0.0.51:5601

本文出自 “21种犹豫” 博客，谢绝转载！

elk

标签：service   防火墙   三件套   客户端   操作系统   

原文地址：http://wenqiangit.blog.51cto.com/8735115/1920591