简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
先来张图，大致结构应该晓得，对吧！ 安装jdk:至少1.8以上 yum -y localinstall jdk-8u73-linux-x64.rpm 安装elasticsearch5.2.1 用普通用户安装es: tar -zxvf elasticsearch-5.2.1.tar.gz [es@no ...
分类：
其他好文 时间：
2017-07-04 16:05:49
阅读次数：
1072
1.安装 2.健康检测： 启动kibana: 然后访问这个地址：http://192.168.36.150:5601/app/kibana#/dev_tools/console?load_from=https:%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticse ...
分类：
其他好文 时间：
2017-07-04 11:13:10
阅读次数：
376
排查原因1： 1. 【不是】由于代码中checkpoint目录为本地导致，搭建了hdfs，将checkpoint移到hdfs，发现还是运行一天左右就挂掉，报错如上。 2. 待续 请大虾们指点。 ...
分类：
其他好文 时间：
2017-07-01 10:52:36
阅读次数：
1948
很多同事认为filebeat采集日志不能做到多行处理，今天这里讨论下filebeat的multiline与include_lines。先来个案例，以下日志，我们只要求采集error的字段，2017/06/2211:26:30[error]26067#0:*17918connect()failed(111:Connectionrefused)whileconnectingtoupstream,client:19..
分类：
其他好文 时间：
2017-06-23 21:03:10
阅读次数：
11083
storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 ...
分类：
其他好文 时间：
2017-06-09 11:07:26
阅读次数：
260
用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本jdk-8u131-linux-i586.tar.gz
filebeat-5.4.0-linux-x86_64.tar.gz
elasticsearch-5.4.0.tar.gz
kibana-5.4.0-linux-x86_64.tar.gz
logstash-5.4.0.tar.gz
kafka_2.11-0..
分类：
其他好文 时间：
2017-06-08 18:08:06
阅读次数：
2544
一、环境准备1.安装java环境：yuminstalljava-1.8.0-openjdk*-y2.添加elk执行用户：groupadd-g77elk
useradd-u77-gelk-d/home/elk-s/bin/bashelk3.在/etc/security/limits.conf追加以下内容：elksoftmemlockunlimited
elkhardmemlockunlimited
*softnofile65536
*hardnofile131..
分类：
其他好文 时间：
2017-06-05 14:13:51
阅读次数：
301
1. 问题描述 我们需要将不同服务器(如Web Server)上的log4j日志传输到同一台ELK服务器，介于公司服务器资源紧张(^_^) 2. 我们需要用到filebeat 什么是filebeat? filebeat被用来ship events,即把一台服务器上的文件日志通过socket的方式，传 ...
分类：
其他好文 时间：
2017-05-27 00:38:06
阅读次数：
1046
