logstash 安装，下载最新版本的logstash: 点击打开链接 解压到磁盘根目录下：在logstash>bin 1、目录下创建：logstash.conf 2、输入内容: input { input { stdin{ stdin{ } } } } output { output { stdo ...
一、背景介绍ELK不是一款软件，而是Elasticsearch、Logstash和Kibana三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于Elastic.co公司名下，所以被简称为ELKStack。根据GoogleTrend的信息显示，ELKStack已经成为目前最流行的集中式日志解决方案。Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理
分类：
其他好文 时间：
2019-12-10 00:33:33
阅读次数：
116
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
日志管理 学习目标 1. 清楚日志在系统中的作用 2. 能够看懂rsyslog基本配置项的含义 3. 知道系统保存日志的位置 4. 能够自己动手配置日志服务器 一、日志介绍 1. 日志概念 日志是系统用来记录系统运行时候的一些相关信息文本文件 2. 日志作用 日志是为了保存相关程序的运行状态、错误信 ...
分类：
系统相关 时间：
2019-12-09 11:46:32
阅读次数：
125
1.1部署elasticsearch:6.5.4 http://localhost:9200/ 1.2添加elasticsearch-head 在最下面添加2行 2.1部署logstash:6.5.4 2.2映射配置文件 2.3 mysql --> elasticsearch vi mysql.co ...
分类：
其他好文 时间：
2019-12-07 12:44:10
阅读次数：
195
日志是从logstash传输给ES的，但是logstash配置中只能配置host和index，所以只能在es中进行配置 但是在es配置文件中配置，也就是新增如下参数的话会报错：node settings must not contain any index level settings 所以采用索引 ...
分类：
其他好文 时间：
2019-12-05 13:17:47
阅读次数：
679
3个容器需要进行交互，根据docker的网络原理，docker0网桥要有，之前因为网桥不在，虽然es启动起来，但是一直ping不通，logstash也连不上es,而且存在缺陷，容器的ip可能会发生变化，后面会将用k8s去部署。 [root@topcheer ~]# ifconfig docker0: ...
分类：
其他好文 时间：
2019-12-04 20:34:58
阅读次数：
182
```bash filter { mutate { remove_field => ["@version","prospector","input","beat","source","offset"] } grok { match => { "message" => "%{TIMESTAMP_ISO... ...
分类：
其他好文 时间：
2019-12-04 20:28:54
阅读次数：
313
1、启动es-head问题 因为高版本es-head需要单独启动，所以先要安装npm等工具。安装教程见[1] 启动命令：../elasticsearch-head/node_modules/grunt/bin/grunt server 2、logstash同步到es中 [ERROR][logstas ...
分类：
其他好文 时间：
2019-12-03 18:17:14
阅读次数：
176
ELK 日志分析 1. 为什么用到 ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、 awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解 ...
分类：
其他好文 时间：
2019-12-02 13:12:46
阅读次数：
156
