[toc] 一、什么是logstash logstash是一个日志收集器，可以理解为一个管道，或者中间件。 功能是从定义的输入源inputs读取信息，经过filters过滤器处理，输入到定义好的outputs输出源。 logstash 输入源可以指定输入数据，可以是stdin、日志文件、数据库等 输 ...
分类：
其他好文 时间：
2020-03-18 23:49:40
阅读次数：
84
1.安装启动zookeeper /home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/conf/zoo.cfg bin/zkServer start 2.安装启动logstash /home/hadoop/app/logstash-2.4.1/project.conf ...
分类：
其他好文 时间：
2020-03-16 14:49:22
阅读次数：
91
配置文件： /usr/lib/systemd/system/logstash.service 相关目录： logstash.conf 位于 /etc/logstash/conf.d 中，logstash.yml 位于 /etc/logstash 中 [Unit] Description=Logsta ...
分类：
其他好文 时间：
2020-03-14 10:40:04
阅读次数：
76
1.安装jdk yum install java-1.8.0-openjdk -y 2.配置yum源 vim /etc/yum.repos.d/logstash.repo [logstash-7.x]name=Elastic repository for 7.x packagesbaseurl=ht ...
分类：
其他好文 时间：
2020-03-11 23:24:32
阅读次数：
76
1.到官网下载对应的版本注意最好使用版本相同的3个软件 elasticsearch-6.8.7.rpm kibana-6.8.7-x86_64.rpm logstash-6.8.7.rpm 我这里使用6.8.7版本的rpm包直接安装，基本注意事项：防火墙，firewall，等关闭，java环境注意修 ...
分类：
其他好文 时间：
2020-03-09 11:57:06
阅读次数：
58
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
分类：
其他好文 时间：
2020-03-02 22:35:52
阅读次数：
414
一、ELK部署 1. 安装logstash 1. 解压logstash2.4.0 2. 在解压目录下新建config目录，新建logstash.conf(建配置文件) 3. 配置文件编解内容 4. 启动 nohup ./bin/logstash f config/logstash.conf log. ...
分类：
其他好文 时间：
2020-02-29 18:47:14
阅读次数：
184
主要补充内容： 1.同步多表 2.配置的参数个别说明 3.elasticsearch的"_id"如果有相同的，那么会覆盖掉，相同"_id"的数据只会剩下最后一条。所以还是用数据表中主键自增的id比较好，当然如果有需要也可以自己改变成别的UUID之类的。 elasticsearch默认的"_type" ...
分类：
其他好文 时间：
2020-02-28 18:29:59
阅读次数：
64
com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library? https://www.cnblogs.com/Hackerman/p/11 ...
分类：
数据库 时间：
2020-02-27 00:38:38
阅读次数：
178
