Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume的功能支持在日志系统中定制各类数据发送方，用于收集数据提供对数据简单处理，并写到各类数据接收方（可定制）的能力Flume的组成Agent:
分类：
Web程序 时间：
2018-11-16 20:47:12
阅读次数：
168
前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 ...
分类：
Web程序 时间：
2018-11-02 16:35:12
阅读次数：
269
目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
一、基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大， ...
分类：
其他好文 时间：
2018-09-20 11:06:23
阅读次数：
1791
一、ELK介绍ELK构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看ELK官方网站，发现新一代的日志采集器Filebeat，他是Beats家族其中的一员，性能超越logstash，部署简单，占用资源少，可以很方便的和logstash，ES对接。从官方网站可以看出新一代ELK架构如下：1、BeatsBeats平台集合了多种单一用
分类：
其他好文 时间：
2018-09-16 20:50:45
阅读次数：
297
章节一2018年ELK课程计划和效果演示1、课程安排和效果演示简介：课程介绍和主要知识点说明，ES搜索接口演示，部署的ELK项目演示es:localhost:9200kibanahttp://localhost:5601/章节二elasticSearch6.2版本基础讲解到阿里云部署实战2、搜索引擎知识介绍和相关框架简介：介绍搜索的基本概念，市面上主流的搜索框架elasticSearch和solr
分类：
其他好文 时间：
2018-09-08 21:01:27
阅读次数：
301
章节一2018年ELK课程计划和效果演示1、课程安排和效果演示简介：课程介绍和主要知识点说明，ES搜索接口演示，部署的ELK项目演示章节二elasticSearch6.2版本基础讲解到阿里云部署实战2、搜索引擎知识介绍和相关框架简介：介绍搜索的基本概念，市面上主流的搜索框架elasticSearch和solr等对比什么是搜索：在海量信息中获取我们想要的信息3、新版本elasticSearch6.1
分类：
其他好文 时间：
2018-09-08 11:53:39
阅读次数：
263
章节一 2018年 ELK课程计划和效果演示 1、课程安排和效果演示 简介：课程介绍和主要知识点说明，ES搜索接口演示，部署的ELK项目演示 章节二 elasticSearch 6.2版本基础讲解到阿里云部署实战 2、搜索引擎知识介绍和相关框架 简介：介绍搜索的基本概念，市面上主流的搜索框架elas ...
分类：
其他好文 时间：
2018-09-08 11:44:04
阅读次数：
208
章节一 2018年 ELK课程计划和效果演示1、课程安排和效果演示 简介：课程介绍和主要知识点说明，ES搜索接口演示，部署的ELK项目演示 es: localhost:9200 kibana http://localhost:5601/ 章节二 elasticSearch 6.2版本基础讲解到阿里云 ...
分类：
其他好文 时间：
2018-09-08 11:41:25
阅读次数：
394
一、项目背景1.1项目痛点在目前小程序为主的大背景下，有客户大部分业务在腾讯云，使用的大部分为容器服务，在大规模的使用容器下，需要对容器内业务的日志采集及分析，在腾讯云对应容器服务的日志提供了两种消费方式：Kafka、日志服务CLS。但是对应业务线众多，在腾讯云容器服务只能指定十条日志收集规则，完全满足不了大规模日志收集场景，客户已经指定分业务两种消费方式均使用了起来，Kafka&日志服务
分类：
其他好文 时间：
2018-08-26 01:22:06
阅读次数：
847
