一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。 但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核 ...
分类:
Web程序 时间:
2018-07-19 23:25:38
阅读次数:
297
安装运行环境这样的坑,那些做国产大数据底层开发的,如果不能解决这个问题的话,我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是,三月的时候申请拿到了一个DKHadoop的三节点发行版,大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如:HDFS,Hbase,Storm,Flume,Kafka,Mahout,Es等集成到了一起,终于不需要绞尽脑汁去折腾底层平台的搭建与配置了,简单的完成安装即可。这对于hadoop初学者来说,可谓是福音了。
分类:
数据库 时间:
2018-07-14 16:39:45
阅读次数:
208
一.Flume的安装部署: Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 安装包的下载地址为:http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 1. 上传安装包到数据源所在节点 ...
分类:
Web程序 时间:
2018-07-13 16:16:37
阅读次数:
204
配置flume集群参考https://www.cnblogs.com/jifengblog/p/9277793.html load-balance负载均衡 介绍 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load balancing Sink Processor 能够 ...
分类:
Web程序 时间:
2018-07-07 20:52:50
阅读次数:
237
采集目录到HDFS 使用flume采集目录需要启动hdfs集群 spooldir source 监控指定目录 如果目录下有新文件产生 就采集走 注意!!! 此组件监控的目录不能有同名的文件产生 一旦有重名文件:报错 罢工 注意!!! 此组件监控的目录不能有同名的文件产生 一旦有重名文件:报错 罢工 ...
分类:
Web程序 时间:
2018-07-07 20:42:41
阅读次数:
171
概述 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(chann ...
分类:
Web程序 时间:
2018-07-07 20:12:05
阅读次数:
181
基础概念 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, joi ...
分类:
其他好文 时间:
2018-06-30 14:50:42
阅读次数:
206
flume:用来搜集日志,将日志传输至kakfa kafka:作为缓存,存储来自flume的日志 es:作为存储媒介,存放日志 logstash:真对日志进行过滤处理 flume部署 获取安装包、解压 修改flumen-env.sh脚本,设置启动参数 编辑配置文件 创建kafka的topic 启动f ...
分类:
Web程序 时间:
2018-06-26 18:01:46
阅读次数:
357
1. Logstash概述 Logstash的官网地址为:https://www.elastic.co/cn/products/logstash,以下是官方对Logstash的描述。 Logstash是与Flume类似,也是一种数据采集工具,区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ...
分类:
其他好文 时间:
2018-06-23 00:07:45
阅读次数:
296
Flume(一)Flume原理解析 阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Fl ...
分类:
Web程序 时间:
2018-06-22 13:43:24
阅读次数:
251