graylog可以通过两种方式采集nginx日志，一种是通过Graylog Collector Sidecar进行采集（主动方式），另外是通过修改nginx配置文件的方式进行收集（被动方式）。 这次说一下修改nginx配置文件（被动方式）。 被动方式的好处就是nginx将定义好的日志字段以json格 ...
分类：
其他好文 时间：
2020-03-15 13:46:44
阅读次数：
76
配置文件： /usr/lib/systemd/system/logstash.service 相关目录： logstash.conf 位于 /etc/logstash/conf.d 中，logstash.yml 位于 /etc/logstash 中 [Unit] Description=Logsta ...
分类：
其他好文 时间：
2020-03-14 10:40:04
阅读次数：
76
1.启动nginx服务程序： shell# nginx 2.重载nginx配置文件： shell# nginx -s reload 3.平滑停止nginx进程： shell# nginx -s quit 4.更替nginx日志文件： shell# nginx -s reopen ...
分类：
其他好文 时间：
2020-03-13 01:23:27
阅读次数：
73
1.安装jdk yum install java-1.8.0-openjdk -y 2.配置yum源 vim /etc/yum.repos.d/logstash.repo [logstash-7.x]name=Elastic repository for 7.x packagesbaseurl=ht ...
分类：
其他好文 时间：
2020-03-11 23:24:32
阅读次数：
76
打开nginx.conf 可以看到log_format 的默认配置如下，今天我们来一起学习一下nginx log_format 的配置，以及一些变量的作用； log_format main '$remote_addr - $remote_user [$time_local] $scheme $htt ...
分类：
其他好文 时间：
2020-03-11 10:37:16
阅读次数：
73
1.到官网下载对应的版本注意最好使用版本相同的3个软件 elasticsearch-6.8.7.rpm kibana-6.8.7-x86_64.rpm logstash-6.8.7.rpm 我这里使用6.8.7版本的rpm包直接安装，基本注意事项：防火墙，firewall，等关闭，java环境注意修 ...
分类：
其他好文 时间：
2020-03-09 11:57:06
阅读次数：
58
[TOC] 数据分析介绍 以前使用的语言是R语言来进行数据分析的，BI（商业智能部），现在有了Python语言，其语法简洁，写的代码量非常少，现在有转向Python的趋势。 数据的来源 公司足够大，那每天产生的数据（nginx日志数据），就足够我们分析使用（10TB）； 买数据，天眼查（50W个公司 ...
分类：
其他好文 时间：
2020-03-02 23:01:19
阅读次数：
108
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
分类：
其他好文 时间：
2020-03-02 22:35:52
阅读次数：
414
1. 实现一台chrony server , 其他主机通过server sync time 2. 实现一台rsyslog server ,其他主机将日志发送到server ，server将日志存储到mysql服务器，，并通过rsyslanager php应用实现图形化统计； 1 . chrony的实 ...
分类：
其他好文 时间：
2020-03-02 16:22:33
阅读次数：
93
