filebeat.yml ###################### Filebeat Configuration Example ######################### # This file is an example configuration file highlighting ...
分类：
其他好文 时间：
2018-10-01 11:53:17
阅读次数：
245
（一）简述： filebeat：具有日志收集功能，是下一代的Logstash收集器，但是filebeat更轻量，占用资源更少，适合客户端使用。 redis：Redis服务器通常都是用作NoSQL数据库，不过logstash只是用来做消息队列。 logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上
分类：
其他好文 时间：
2018-09-20 20:20:14
阅读次数：
343
利用 Filebeat去读取日志发送到 Logstash ,再由 Logstash 处理后发送给 Elasticsearch 。 一、Filebeat 1. 项目日志文件： 利用 Filebeat 去读取文件，paths 下面配置路径地址，Filebeat 会自动去读取 /data/share/bu ...
分类：
其他好文 时间：
2018-09-20 13:47:39
阅读次数：
208
一、基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大， ...
分类：
其他好文 时间：
2018-09-20 11:06:23
阅读次数：
1791
一、环境准备1、架构选型接下来我们进行初步的探视，利用测试环境体验下ELKStack+Filebeat，测试环境我们就不进行Kafka的配置了，因为他的存在意义在于提高可靠性。2、软件版本Filebeat6.4.0Logstash6.4.0Elasticsearch6.4.0Kibana6.4.0JDK1.8.0_1813、服务器准备IP系统角色172.18.2.100CentOS7.4.1708
分类：
其他好文 时间：
2018-09-16 23:56:25
阅读次数：
260
一、ELK介绍ELK构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看ELK官方网站，发现新一代的日志采集器Filebeat，他是Beats家族其中的一员，性能超越logstash，部署简单，占用资源少，可以很方便的和logstash，ES对接。从官方网站可以看出新一代ELK架构如下：1、BeatsBeats平台集合了多种单一用
分类：
其他好文 时间：
2018-09-16 20:50:45
阅读次数：
297
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
ELK简介：ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：
分类：
其他好文 时间：
2018-09-06 23:57:50
阅读次数：
539
