码迷,mamicode.com
首页 >  
搜索关键字:flume hdfssink    ( 1092个结果
Flume原理解析【转】
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。 但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核 ...
分类:Web程序   时间:2018-07-19 23:25:38    阅读次数:297
大数据入门级学习:SQL与NOSQL数据库
安装运行环境这样的坑,那些做国产大数据底层开发的,如果不能解决这个问题的话,我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是,三月的时候申请拿到了一个DKHadoop的三节点发行版,大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如:HDFS,Hbase,Storm,Flume,Kafka,Mahout,Es等集成到了一起,终于不需要绞尽脑汁去折腾底层平台的搭建与配置了,简单的完成安装即可。这对于hadoop初学者来说,可谓是福音了。
分类:数据库   时间:2018-07-14 16:39:45    阅读次数:208
02_ Flume的安装部署
一.Flume的安装部署: Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 安装包的下载地址为:http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 1. 上传安装包到数据源所在节点 ...
分类:Web程序   时间:2018-07-13 16:16:37    阅读次数:204
Flume的load-balance、failover
配置flume集群参考https://www.cnblogs.com/jifengblog/p/9277793.html load-balance负载均衡 介绍 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load balancing Sink Processor 能够 ...
分类:Web程序   时间:2018-07-07 20:52:50    阅读次数:237
Flume采集目录及文件到HDFS案例
采集目录到HDFS 使用flume采集目录需要启动hdfs集群 spooldir source 监控指定目录 如果目录下有新文件产生 就采集走 注意!!! 此组件监控的目录不能有同名的文件产生 一旦有重名文件:报错 罢工 注意!!! 此组件监控的目录不能有同名的文件产生 一旦有重名文件:报错 罢工 ...
分类:Web程序   时间:2018-07-07 20:42:41    阅读次数:171
Apache Flume简介及安装部署
概述 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(chann ...
分类:Web程序   时间:2018-07-07 20:12:05    阅读次数:181
spark知识体系04-Spark Streaming
基础概念 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, joi ...
分类:其他好文   时间:2018-06-30 14:50:42    阅读次数:206
统一日志检索部署(es、logstash、kafka、flume)
flume:用来搜集日志,将日志传输至kakfa kafka:作为缓存,存储来自flume的日志 es:作为存储媒介,存放日志 logstash:真对日志进行过滤处理 flume部署 获取安装包、解压 修改flumen-env.sh脚本,设置启动参数 编辑配置文件 创建kafka的topic 启动f ...
分类:Web程序   时间:2018-06-26 18:01:46    阅读次数:357
大数据实战之Logstash采集->Kafka->ElasticSearch检索
1. Logstash概述 Logstash的官网地址为:https://www.elastic.co/cn/products/logstash,以下是官方对Logstash的描述。 Logstash是与Flume类似,也是一种数据采集工具,区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ...
分类:其他好文   时间:2018-06-23 00:07:45    阅读次数:296
flume
Flume(一)Flume原理解析 阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Fl ...
分类:Web程序   时间:2018-06-22 13:43:24    阅读次数:251
1092条   上一页 1 ... 29 30 31 32 33 ... 110 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!