码迷,mamicode.com
首页 > 其他好文 > 详细

CentOS7.4下ELK6.2.4从0开始部署安装

时间:2018-04-28 15:45:06      阅读:1141      评论:0      收藏:0      [点我收藏+]

标签:ELK6.2.4

公司原本已经做了日志收集,不过是收集于单台云服务器,还需要研发以及运维去登陆查看日志。以前用的都是低版本的ELK(2.X),这次准备体验试用下最新版本的。理论以及架构这些不再说明,网上很多请自行查看! 环境说明:CentOS7.4、jdk1.8等 下面是安装过程 首先是确认环境rpm -qa|grep java 如果有其他版本的请删除 rpm–e --nodeps java-* 检查是否删除 java –version # 开始安装jdk1.8自行从oracle官网下载 解压改名设置环境变量 vim /etc/profile在末行加入 export JAVA_HOME=/usr/local/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${PATH} 配置设置source /etc/profile 测试java -version # 设置内核参数 vim /etc/sysctl.conf 增加以下参数 vm.max_map_count=655360 执行以下命令,确保生效配置生效: sysctl -p 设置资源参数 vim /etc/security/limits.conf #修改 * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 #设置elk用户参数 vim /etc/security/limits.d/20-nproc.conf elk soft nproc 65536 elk用户默认已经创建 # elasticsearch-6.2.4(3台) 解压到/usr/local改名elasticsearch chown -R elk.elk elasticsearch/ 到解压目录下 vim config/elasticsearch.yml 同样是末行加入 #这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现 cluster.name: elk123 #数据目录 path.data: data/elk/data #log目录 path.logs: data/elk/logs #节点名称(3台1-3) node.name: node-1 #修改一下ES的监听地址,这样别的机器也可以访问 network.host: 0.0.0.0 #默认的端口号 http.port: 9200 注意配置冒号后有空格,新建日志和数据目录给 chown -R elk.elk /data/ 启动elasticsearch su elk -c "/usr/local/elasticsearch/bin/elasticsearch -d " 测试访问ip:9200 # kibana-6.2.4(单台即可) 解压安装改名 cd kibana/ config/kibana.yml #开启默认端口5601如果5601被占用可用5602或其他 server.port: 5601 server.host: “hostname” 这里填你的主机名 #指向elasticsearch服务的ip地址 elasticsearch.url: http://localhost:9200 kibana.index: “.kibana” 启动 /usr/local/kibana/bin/kibana & 测试ip:5601 # logstash-6.2.4 这个要安装在你日志所在服务器上 解压安装改名到目录下 vim config/*-logst.conf新建一个配置文件名字自定 input{ file { path => "/usr/loca/*.log" #你的日志路径 start_position => beginning ignore_older => 0 sincedb_path =>"/dev/null" }} filter{ grok { match => { "message" =>"%{IPORHOST:clientip} - %{USER:auth} \"(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response} (?:%{NUMBER:bytes}|-)"} }date { match => [ "timestamp" ,"dd/MMM/YYYY:HH:mm:ss +0800" ] } } output{ elasticsearch { hosts => ["ip:9200" i ndex => "logs-%{+YYYY.MM.dd}" } stdout {} } 该配置只是匹配单个项目如果多个请参考以下 input { file { path => "/var/log/messages" type => "system" start_position => "beginning" } file { path => "/var/log/elasticsearch/chuck-clueser.log" type => "es-error" start_position => "beginning" codec => multiline { pattern => "^\[" negate => true what => "previous" } } } output { if [type] == "system" { elasticsearch { hosts => ["192.168.56.11:9200"] index => "system-%{+YYYY.MM.dd}" } } if [type] == "es-error" { elasticsearch { hosts => ["192.168.56.11:9200"] index => "es-error-%{+YYYY.MM.dd}" } } } 然后启动 /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/*-logst.conf 然后去kibana看下是否有数据!

CentOS7.4下ELK6.2.4从0开始部署安装

标签:ELK6.2.4

原文地址:http://blog.51cto.com/12102819/2108832

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!