官方定义：Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 LogStash是重量级的，支持多数据获取机制，通过TCP/UDP协议、文件、syslog、windows Eventlogs及STDIN等；获取到数据后，它支持 ...
分类：
其他好文 时间：
2019-10-24 15:07:32
阅读次数：
102
到logstash-2.0.0\bin下新建文件 logstash.conf input { tcp { mode => "server" host => "0.0.0.0" port => 4560 codec => json_lines } } output { elasticsearch { ...
分类：
编程语言 时间：
2019-10-15 20:52:48
阅读次数：
115
1.ELK介绍 1> Elasticsearch是实时全文搜索和分析引擎， 提供搜集、分析、存储数据三大功能； 是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。 2> Logstash是一个用来搜集、分析、过滤日志的工具。 它支持几乎任何类型的日志，包括系统日志、错误 ...
分类：
编程语言 时间：
2019-10-15 20:45:00
阅读次数：
163
概述 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对 ...
分类：
其他好文 时间：
2019-10-15 00:01:41
阅读次数：
84
今天用logstash同步数据库记录到elasticsearch时候出现错误，错误信息如下： 这种错误会导致创建不了时间节点文件。 问题原因是由于我的conf 中sql是多表联查的，我给每个字段起了别名（驼峰方式），但是logstash里面不支持驼峰字段，所以将字段别名全部用了小写，之后就好了，以下 ...
分类：
其他好文 时间：
2019-10-13 00:24:17
阅读次数：
270
本文出处：https://my.oschina.net/xiaowangqiongyou/blog/1812708#comments 截取部分内容以便学习 这里有几个注意点：（1）jdbc_driver_library mysql-connector-java-5.1.46.jar的存放目录，这个一 ...
分类：
数据库 时间：
2019-10-11 16:32:33
阅读次数：
133
案例实施本实验实现以下功能：配置ELK日志分析群集。使用logstash收集日志。使用Kibana查看分析日志。1.在两个ELK节点上配置域名解析，通过本地/etc/hosts文件实现。node1上的配置：[root@localhost~]#vim/etc/hostnamenode1[root@localhost~]#vim/etc/hosts127.0.0.1localhostlocalhost
分类：
其他好文 时间：
2019-10-10 15:45:20
阅读次数：
208
1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C ...
分类：
数据库 时间：
2019-10-08 18:46:20
阅读次数：
292
下载logstash 6.4.3版本 解压 下载input和output插件 新建logstash.conf 内容输入案例 注意：这里边需要先安装下mysql-connector-java-5.1.46.jar包，存放到以上指定位置 配置pipelines.yml 在文件底部添加 启动ogstash ...
分类：
数据库 时间：
2019-10-05 22:20:30
阅读次数：
119
1.从官网下载安装包，并通过Xftp5上传到机器集群上 下载logstash-6.2.3.tar.gz版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 2、解压logstash-6.2.3.tar.gz，并把解压的安装包移动到/opt/app ...
分类：
其他好文 时间：
2019-10-02 01:07:41
阅读次数：
130
