1.下载和elasticsearch 相同版本的logstash. 2.进行解压后,进入bin下,新建一个文件mysql.conf,并输入 input { stdin{ }} output { stdout{ }} 3.cmd进入bin 下,输入logstash -f mysql.conf 启动后, ...
分类：
数据库 时间：
2018-12-27 15:22:24
阅读次数：
137
海量日志下的日志架构优化：filebeat+logstash+kafka+ELK
分类：
其他好文 时间：
2018-12-24 00:19:25
阅读次数：
506
首先安装,这里采用rpm安装: 创建repo文件: 在yum install logstash之前确保已经安装了jdk,也就是确保有java环境: 查看logstash的配置文件: ...
分类：
其他好文 时间：
2018-12-23 22:08:38
阅读次数：
191
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。
分类：
其他好文 时间：
2018-12-21 13:04:27
阅读次数：
251
Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。它以插件的形式来组织功能，通过配置文件来描述需要插件做什么，配置文件主要由input、filter和output三部分组成。 一、input 负责从数据源提取数 ...
分类：
其他好文 时间：
2018-12-20 17:04:12
阅读次数：
225
1 --- 2 - hosts: web-server 3 remote_user: root 4 tasks: 5 - name: stop logstash 6 shell: PID=`ps -ef | grep logstash | grep -v grep | awk '{print $2}... ...
分类：
其他好文 时间：
2018-12-14 19:38:53
阅读次数：
177
Filter是Logstash功能强大的主要原因，它可以对LogstashEvent进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date：日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby：利用ruby代码来动态修改Logstas
分类：
其他好文 时间：
2018-12-13 11:27:50
阅读次数：
276
ELK日志分析平台 一、ELK介绍 ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana，都是开源软件，新增一个beats，（轻量级日志处理工具Agent） ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kib ...
分类：
其他好文 时间：
2018-12-12 23:54:39
阅读次数：
348
[root@server5elk]#rpm-ivhlogstash-2.3.3-1.noarch.rpm[root@server5logstash]#/opt/logstash/bin/logstash-e‘input{stdin{}}output{stdout{codec=>rubydebug}}‘Settings:Defaultpipelineworkers:1Pipel
分类：
其他好文 时间：
2018-12-11 17:31:04
阅读次数：
197
logstash 获取 安装 jdbc 和 elasticsearch 插件 获取 jdbc mysql 驱动 编写配置文件 logstash-input-jdbc 使用 logstash-input-jdbc 插件读取 mysql 的数据，这个插件的工作原理比较简单，就是定时执行一个 sql，然后 ...
分类：
数据库 时间：
2018-12-10 18:19:36
阅读次数：
279
