码迷,mamicode.com
首页 >  
搜索关键字:flume 多sink 配置测试    ( 1437个结果
Flume-1.6.0学习笔记
Flume-1.6.0学习笔记
分类:Web程序   时间:2015-08-05 22:33:33    阅读次数:164
Flume:构建高可用、可扩展的海量日志采集系统——互动出版网
这篇是计算机类的优质预售推荐>>>>《Flume:构建高可用、可扩展的海量日志采集系统》 编辑推荐 开发人员。 内容简介 本书从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置 组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例...
分类:Web程序   时间:2015-08-04 19:28:18    阅读次数:236
【分布式计算】分布式日志导入工具-Flume
背景 Flume是Apache赞助的一个分布式日志管理系统,主要功能就是把集群中每个worker产生的日志log,collect到特定的地点。 为什么要写这篇文章呢,因为现在搜索出来的文献大多是老版本的flume,在flume1.X版本后,也就是flume-ng版本跟之前出现了很大的改动,市面上的很多文档都已经过时了,大家看的时候一定要注意这点,稍后我会提供几个比较新的,有参考价值的文章。...
分类:Web程序   时间:2015-08-04 09:30:46    阅读次数:187
flume实例二、监听目录日志上传到HDFS文件系统
一、概述 接实例一,实例一中server-aget是把日志上传保存到服务器上面,随着日志越来越大,公司启动了hadoop项目,需要把日志直接上传hdfs中保存,配置文件target_hdfs.conf如下: a2.sources = r2 a2.channels = c2 a2.sinks = k2...
分类:Web程序   时间:2015-07-31 19:52:24    阅读次数:195
flume实例一、监听目录日志上传到其他服务器
一、flume-ng简介 请参考官方文档:http://flume.apache.org/FlumeUserGuide.html 二、实例 需求说明:需要监控一个目录,并自动上传到服务器,且需要在传输过程中进行加密。 整体方案:n个client-agent -->server-agent clien...
分类:Web程序   时间:2015-07-31 18:16:37    阅读次数:178
【微信分享】王团结:如何用Hadoop/Spark构建七牛数据平台
摘要:7月30日,七牛数据平台工程师王团结就七牛内部使用的数据平台,深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验,并讲解了各个工具使用的注意点。 继“ YARN or Mesos?Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL on Hadoop框架选择”之后,CSDN Spark微信用户群邀请了王团结...
分类:微信   时间:2015-07-31 09:07:00    阅读次数:297
flume的原理和使用
flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。flume的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。flume传输的数据的基本单位是event,如果是文本文件,通常是一行记...
分类:Web程序   时间:2015-07-30 23:16:06    阅读次数:377
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” ? 1).数据采集 负责从各节点上实时采集数据,选用cloud...
分类:Web程序   时间:2015-07-27 21:13:48    阅读次数:185
Flume 开发者指南V1.5.2
介绍 概述 Apache Flume是一个用来从很多不同的源有效地收集,聚集和移动大量的日志数据到一个中心数据仓库的分布式的,可靠的和可用的系统。 Apache Flume是Apache软件基金会的顶级项目。目前有两个可获得的发布代码路线,0.9.x版本和1.x版本。本文档适用于1.x代码线。对于0.9.x代码线,请看Flume 0.9.x开发指南。   结构 数据流模型 一个Eve...
分类:Web程序   时间:2015-07-25 21:37:30    阅读次数:495
Spark Streaming和Flume集成指南V1.4.1
Apache Flume是一个用来有效地收集,聚集和移动大量日志数据的分布式的,可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。 Python API:Flume现在还不支持PythonAPI   方法1:Flume风格的推方法 Flume被设计用来在Flume代理之间推送数据。在这种方法中,Spark Streami...
分类:Web程序   时间:2015-07-24 09:24:14    阅读次数:163
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!