简略介绍： Logstash是elastic技术栈中的一员。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别哪些数据需要同步的。 使用ID的方式，假设表中有1000条数据，Logstats ...
分类：
其他好文 时间：
2020-05-24 11:22:32
阅读次数：
75
基本流程：1）Logstash-Shipper获取日志信息发送到redis。2）Redis在此处的作用是防止ElasticSearch服务异常导致丢失日志，提供消息队列的作用。[注意,测试时如果写到redis里的日志量比较小,则很快就会被输送到elasticsearch,输送完之后,届时在redis ...
分类：
其他好文 时间：
2020-05-23 18:22:13
阅读次数：
84
1.安装Kibana 服务器角色 主机名 ip 服务 elk1 192.168.1.223 jdk1.8,es7.2,logstash, elk2 192.168.1.224 jdk1.8,es7.2,elasticsearch-head, kibana,cerebro elk3 192.168.1 ...
分类：
其他好文 时间：
2020-05-23 16:16:53
阅读次数：
54
[toc] 前言 ElasticSearch,Kibana,Logstash等安装上一章讲完了,这一章讲讲ELasticSearch怎么使用 两种方式,一种是直接写ElasticSearch查询语句,当然是在Kibana里面 还有一种是用代码写,可以用Java,C ,PHP,Python等,我这里使 ...
海量日志收集项目总结（1）logagent开发 此部分源码： "logagent源码" 简介 本项目用于系统中日志的采集处理。 对于日志采集业界其实已有成熟的 ELK 方案。 ELK方案 ELK： E：Elasticserach（建立索引） L: Logstash(日志采集) K: Kibana（可 ...
分类：
其他好文 时间：
2020-05-19 10:38:54
阅读次数：
194
一、数据从文件导入elasticsearch 1、数据准备： 1、数据文件：test.json 2、索引名称：index 3、数据类型：doc 4、批量操作API：bulk {"index":{"_index":"index2","_type":"type2","_id":0}} {"age":10 ...
分类：
Web程序 时间：
2020-05-18 20:54:37
阅读次数：
88
分布式部署 前期方案：web服务器(1台) + 阿里云mysql数据库(2节点) + uploads文件转移到oss文件服务器（先不删除服务器上文件）最终方案：web服务器(多台) + 阿里云mysql数据库(4+节点) + 阿里云Elasticsearch(多节点) + 阿里云Logstash分布 ...
分类：
其他好文 时间：
2020-05-18 12:34:55
阅读次数：
76
查看日志rsyslogd是否启动和自启动 ps aux | grep rsyslogd 查看自启动（CentOS 7使用，CentOS 6可以使用chkconfig命令） systemctl list-unit-files | grep rsyslog 常见日志及其作用 ...
分类：
系统相关 时间：
2020-05-17 13:35:10
阅读次数：
68
命令行标记 Logstash有以下标记，你可以使用--help标志来显示此信息。 --node.name NAME 指定此Logstash实例的名称，如果没有赋值，它将默认为当前主机名。 -f, --path.config CONFIG_PATH 从特定的文件或目录加载Logstash配置，如果给定 ...
分类：
其他好文 时间：
2020-05-15 15:41:36
阅读次数：
93
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
