一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请...
分类：
Web程序 时间：
2016-01-20 20:49:39
阅读次数：
345
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-11-28 14:58:52
阅读次数：
260
原文链接：记Flume-NG一些注意事项这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avro source可以适当提高线程数量来提高此source性能；3、Th...
分类：
Web程序 时间：
2015-11-24 14:55:18
阅读次数：
214
kafka：(./kafka-server-start.sh ../config/server.properties &)flume：(bin/flume-ng agent -n agent -c conf -f conf/flume-node -Dflume.monitoring.type=htt...
分类：
其他好文 时间：
2015-11-16 10:46:09
阅读次数：
126
转发自玖疯的博客 http://www.cnblogs.com/lxf20061900/p/3866252.html Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源.....
分类：
Web程序 时间：
2015-10-29 13:11:47
阅读次数：
328
作者：周邦涛(Timen)Email：zhoubangtao@gmail.com转载请注明出处: http://blog.csdn.net/zhoubangtao/article/details/28277575上一篇请參考【Flume NG用户指南】（1）设置3. 配置前边的文章已经介绍过了，Fl...
分类：
Web程序 时间：
2015-10-25 09:37:43
阅读次数：
299
在Flume NG+hadoop的开发中，运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-14302219675...
分类：
数据库 时间：
2015-10-21 12:25:33
阅读次数：
1198
sink写入到rabbitmq的实例 package?org.apache.flume;
import?org.apache.flume.conf.Configurable;
import?org.apache.flume.sink.AbstractSink;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory...
分类：
Web程序 时间：
2015-09-25 11:30:11
阅读次数：
340
1.安装jdk。 2.下载解压flume，修改bin/netcat-memory-logger.conf，内容如下： agent1.sources?=?sources1
agent1.channels?=?channels1?
agent1.sinks?=?sinks1
agent1.sources.sources1.type?=?netca...
分类：
Web程序 时间：
2015-09-24 17:54:37
阅读次数：
416
