1.先到网站上下载 https://www.elastic.co/cn/downloads，需要的工具 Elasticsearch，Kibana，Logstash，Filebeat。 先把redis安装好。安装redis略过。 2.主要是每个工具的配置文件： Elasticsearch 直接解压后启 ...
分类：
其他好文 时间：
2017-08-26 16:00:13
阅读次数：
182
filebeat（5.x）默认配置中，输出客户端信息beat.name和beat.hostname值都是主机名，这样不方便运维快速定位到具体主机，如下图（ES中）：因此在filebeat配置文件中增加字段，并通过环境变量配置ip地址，在es索引中增加“host"字段，值为客户端的真实IPfilebeat.yml配置增加以..
分类：
其他好文 时间：
2017-08-23 10:28:09
阅读次数：
1588
filebeat 直接到logstash, 由于logstash的设计问题, 可能会出现阻塞问题, 因为中间使用消息队列分开 可以使用redis, 或者kafka, 这儿使用的是kafka 1, 安装 kafka的安装, 解压可用, 但需要zookeeper, 内置了一个zookeeper, 直接使 ...
分类：
其他好文 时间：
2017-08-22 16:51:03
阅读次数：
312
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 当你开启filebeat程序的时候，它会启动一个或多个探测器 ...
分类：
移动开发 时间：
2017-08-22 13:15:43
阅读次数：
321
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
先来张图，大致结构应该晓得，对吧！ 安装jdk:至少1.8以上 yum -y localinstall jdk-8u73-linux-x64.rpm 安装elasticsearch5.2.1 用普通用户安装es: tar -zxvf elasticsearch-5.2.1.tar.gz [es@no ...
分类：
其他好文 时间：
2017-07-04 16:05:49
阅读次数：
1072
1.安装 2.健康检测： 启动kibana: 然后访问这个地址：http://192.168.36.150:5601/app/kibana#/dev_tools/console?load_from=https:%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticse ...
分类：
其他好文 时间：
2017-07-04 11:13:10
阅读次数：
376
排查原因1： 1. 【不是】由于代码中checkpoint目录为本地导致，搭建了hdfs，将checkpoint移到hdfs，发现还是运行一天左右就挂掉，报错如上。 2. 待续 请大虾们指点。 ...
分类：
其他好文 时间：
2017-07-01 10:52:36
阅读次数：
1948
很多同事认为filebeat采集日志不能做到多行处理，今天这里讨论下filebeat的multiline与include_lines。先来个案例，以下日志，我们只要求采集error的字段，2017/06/2211:26:30[error]26067#0:*17918connect()failed(111:Connectionrefused)whileconnectingtoupstream,client:19..
分类：
其他好文 时间：
2017-06-23 21:03:10
阅读次数：
11083
