需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
crontab在/var/log/目录下没有cron.log文件 修改rsyslog文件： /etc/rsyslog.d/50-default.conf 将 rsyslog 文件中的 #cron.* 前的 # 删掉； 重启rsyslog服务： service rsyslog restart 重启cr ...
分类：
系统相关 时间：
2020-06-26 20:11:56
阅读次数：
59
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
操作步骤如下 1、下载升级包 2、备份 cp /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx_bak 3、编译 ./configure --user=nobody --group=nobody --prefix=/usr/local/n ...
分类：
其他好文 时间：
2020-06-25 19:39:13
阅读次数：
76
概述 nginx 日志一般都是两种access.log error.log ，可以每个location 区域配置一份，也就是每个请求服务一个日志。它的日志不会自动切割，需要人为根据时间或者日志量切割。 脚本完成nginx日志切割 vi /opt/nginx/cut_nginx_log.sh #!/b ...
分类：
其他好文 时间：
2020-06-25 19:27:00
阅读次数：
66
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器 ...
分类：
其他好文 时间：
2020-06-25 13:37:38
阅读次数：
138
elk7版本，收集nginx日志，grafana进行展示
分类：
其他好文 时间：
2020-06-25 10:07:04
阅读次数：
237
Filebeat附带了示例Kibana仪表板，可视化文件，并提供了搜索以可视化Kibana中的Filebeat数据。 本例展示Nginx示例仪表板 步骤一、采集Nginx日志 使用Filebeat Nginx Module采集Nginx Access日志 参考：【Beats】 Filebeat收集N ...
分类：
其他好文 时间：
2020-06-25 10:04:11
阅读次数：
154
##日志格式 '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"' 首先把字 ...
分类：
其他好文 时间：
2020-06-24 14:24:57
阅读次数：
55
