日志采集框架Flume Flume介绍 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部 ...
分类：
Web程序 时间：
2019-09-02 09:35:39
阅读次数：
86
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
背景 Hadoop业务的整体开发流程： ? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需 ...
分类：
Web程序 时间：
2019-08-20 21:59:27
阅读次数：
152
1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 1.1 broker：安装了kafka服务的机器称之为broker 1.2 topic（主题）:是用来存放消息， ...
分类：
其他好文 时间：
2019-08-20 10:40:28
阅读次数：
73
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume style Push based ...
分类：
Web程序 时间：
2019-08-15 09:24:53
阅读次数：
106
1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
以下是整理flume的各种采集方式代码直接用一、source类netcata1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=linux1a1.sources.r1.port=666a1.sinks.k1.type=loggera1.channels.c1.type=memorya1
分类：
Web程序 时间：
2019-08-11 00:57:43
阅读次数：
399
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2019-08-09 19:55:07
阅读次数：
201
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
