码迷,mamicode.com
首页 > 其他好文 > 详细

elk7版本,收集nginx日志,grafana进行展示

时间:2020-06-25 10:07:04      阅读:237      评论:0      收藏:0      [点我收藏+]

标签:host   image   sch   head   body   ast   upstream   ===   配置文件   

elk7版本和之前的部署方式不太一样,我们先部署一下,回忆一下:

一、部署es集群:

我们使用elk用户来启动和创建

首先安装jdk 这里使用1.13版本

技术图片
技术图片
这里自行安装,百度都有

接下来开始配置,这些

系统的参数
技术图片

/etc/security/limits.conf
技术图片

技术图片

重启一下或者这个临时的不然系统不识别
技术图片

接下来开始es配置

技术图片

技术图片
技术图片
技术图片
自行修改,默认1G

技术图片

创建一下之前的,数据保存目录

技术图片

启动es
技术图片

访问一下
技术图片

其他的,两个机器也是一样的,但是上面的name需要修改
技术图片
其他的是k8s-node1和k8s-node2

完成都启动然后测试
技术图片

上面说明我们的es已经搭建完成了,
安装一个es的插件用来展示elasticsearch-head-chrome-master,安装这个可以自己百度,但是下载之后需要修改
技术图片
完成之后然后通过index.html就可以看到了

=============================================

接下来部署kibana
vim kibana.yml

技术图片

技术图片
技术图片

启动kibana就可以了

技术图片

=============================================

接下来部署logstash和nignx日志收集

logstash要和nginx在一台机器

logstash写nginx收集的配置文件
技术图片

配置nginx
技术图片
log_format main ‘{"@timestamp":"$time_iso8601",‘br/>‘"@source":"$server_addr",‘
‘"hostname":"$hostname",‘
‘"ip":"$remote_addr",‘
‘"client":"$remote_addr",‘
‘"request_method":"$request_method",‘
‘"scheme":"$scheme",‘
‘"domain":"$server_name",‘
‘"referer":"$http_referer",‘
‘"request":"$request_uri",‘
‘"args":"$args",‘
‘"size":$body_bytes_sent,‘
‘"status": $status,‘
‘"responsetime":$request_time,‘
‘"upstreamtime":"$upstream_response_time",‘
‘"upstreamaddr":"$upstream_addr",‘
‘"http_user_agent":"$http_user_agent",‘
‘"https":"$https"‘
‘}‘;
access_log /var/log/nginx/access_json.log main;

启动nginx就行了

在启动logstash

/home/elk/logstash-7.6.1/bin/logstash -f /home/elk/logstash-7.6.1/config/nginx_access.conf

指定启动的文件

完成之后看看es是否有了

技术图片

kibana创建索引,一定是es当中有的不然会失败
技术图片
技术图片

我这里已经创建了所以提示,没有的话要创建

技术图片

技术图片
技术图片

好了elk基本部署就完成了

===============================

接下来部署grafana

展示nginx访问情况

grafana安装自行百度
wget
https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm
yum install -y grafana-6.4.4-1.x86_64.rpm
grafana-cli plugins install grafana-worldmap-panel

grafana-cli plugins install grafana-piechart-panel 1.3.8

完成之后配置es数据源
技术图片
完成之后导入模板
技术图片

导入之后需要修改一下
技术图片
内容都去掉就可以了
技术图片
技术图片
技术图片

好了基本就完事了

elk7版本,收集nginx日志,grafana进行展示

标签:host   image   sch   head   body   ast   upstream   ===   配置文件   

原文地址:https://blog.51cto.com/xiaorenwutest/2506897

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!