标签：ELK6.2.4
公司原本已经做了日志收集，不过是收集于单台云服务器，还需要研发以及运维去登陆查看日志。以前用的都是低版本的ELK（2.X），这次准备体验试用下最新版本的。理论以及架构这些不再说明，网上很多请自行查看！
环境说明：CentOS7.4、jdk1.8等
下面是安装过程
首先是确认环境rpm -qa|grep java
如果有其他版本的请删除
rpm–e --nodeps java-*
检查是否删除
java –version
# 开始安装jdk1.8自行从oracle官网下载
解压改名设置环境变量
vim /etc/profile在末行加入
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
配置设置source /etc/profile
测试java -version
# 设置内核参数
vim /etc/sysctl.conf
增加以下参数
vm.max_map_count=655360
执行以下命令，确保生效配置生效：
sysctl -p
设置资源参数
vim /etc/security/limits.conf
#修改
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
#设置elk用户参数
vim /etc/security/limits.d/20-nproc.conf
elk soft nproc 65536
elk用户默认已经创建
# elasticsearch-6.2.4（3台）
解压到/usr/local改名elasticsearch
chown -R elk.elk elasticsearch/
到解压目录下
vim config/elasticsearch.yml 同样是末行加入
#这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现
cluster.name: elk123
#数据目录
path.data: data/elk/data
#log目录
path.logs: data/elk/logs
#节点名称（3台1-3）
node.name: node-1
#修改一下ES的监听地址，这样别的机器也可以访问
network.host: 0.0.0.0
#默认的端口号
http.port: 9200
注意配置冒号后有空格，新建日志和数据目录给
chown -R elk.elk /data/
启动elasticsearch
su elk -c "/usr/local/elasticsearch/bin/elasticsearch -d "
测试访问ip:9200
# kibana-6.2.4(单台即可）
解压安装改名
cd kibana/
config/kibana.yml
#开启默认端口5601如果5601被占用可用5602或其他
server.port: 5601
server.host: “hostname” 这里填你的主机名
#指向elasticsearch服务的ip地址
elasticsearch.url: http://localhost:9200
kibana.index: “.kibana”
启动
/usr/local/kibana/bin/kibana &
测试ip:5601
# logstash-6.2.4
这个要安装在你日志所在服务器上
解压安装改名到目录下
vim config/*-logst.conf新建一个配置文件名字自定
input{
file {
path => "/usr/loca/*.log" #你的日志路径
start_position => beginning
ignore_older => 0
sincedb_path =>"/dev/null"
}}
filter{
grok {
match => { "message" =>"%{IPORHOST:clientip} - %{USER:auth}
\"(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response} (?:%{NUMBER:bytes}|-)"}
}date {
match => [ "timestamp" ,"dd/MMM/YYYY:HH:mm:ss +0800" ]
}
}
output{
elasticsearch { hosts => ["ip:9200" i ndex => "logs-%{+YYYY.MM.dd}" }
stdout {}
}
该配置只是匹配单个项目如果多个请参考以下
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
file {
path => "/var/log/elasticsearch/chuck-clueser.log"
type => "es-error"
start_position => "beginning"
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
if [type] == "system" {
elasticsearch {
hosts => ["192.168.56.11:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.56.11:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}
然后启动
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/*-logst.conf
然后去kibana看下是否有数据！标签：ELK6.2.4
原文地址：http://blog.51cto.com/12102819/2108832
