Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sourc...
分类：
Web程序 时间：
2015-06-08 16:29:30
阅读次数：
161
Flume的一些组件（如Spooling Directory Source、File Channel）能够保证agent挂掉后不丢失数据。1、负载均衡1）LoadbalancingSinkProcessorsource里的event流经channel，进入sink组，在sink组内部根据负载算法（r...
分类：
Web程序 时间：
2015-06-07 18:52:57
阅读次数：
348
Flume知识点：Event 是一行一行的数据
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro...
分类：
Web程序 时间：
2015-05-30 19:55:17
阅读次数：
155
前段时间似乎所有的事情都赶在一起，回家、集体出游、出差，折腾了近一个月，终于算暂时清静了，但清静只是暂时，估计马上又要出差了，所以赶紧把蓝牙这一部分的文章了结下，按之前提到的目录，本文是关于蓝牙接打电话和听音乐的流程分析，对应蓝牙HFP/A2DP的profile，由于这部分也算是蓝牙的经典功能，所以...
分类：
移动开发 时间：
2015-05-30 12:07:26
阅读次数：
175
1、创建一个agent，sink类型需指定为自定义sink vi /usr/local/flume/conf/agent3.conf agent3.sources=as1 agent3.channels=c1 agent3.sinks=s1 agent3.sources.as1.type...
分类：
Web程序 时间：
2015-05-24 17:15:54
阅读次数：
342
本文介绍初次使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。1 环境搭建 需要jdk、flume-ng、mongodbjavadriver、flume-ng-mongodb-sink（1）jdk下载地址：http://www.oracle.com/technetwor...
分类：
Web程序 时间：
2015-05-13 00:25:34
阅读次数：
185
从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。
通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} closing Rpc client: {}
这里destroyConnection了，摧毁了一...
分类：
Web程序 时间：
2015-05-12 13:43:45
阅读次数：
209
上篇笔记对Flume的使用场景和系统架构做了介绍，本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的，总的原则是必须列出source/channel/sink的name/type等重要的配置项，并通过channel将source(s)和sink(s)连接起来，此外，1个source可...
分类：
Web程序 时间：
2015-04-29 19:49:33
阅读次数：
223
HDFS sink里有个属性hdfs.rollInterval=86400，这个属性你设置了24小时滚动一次，它的确就到了24小时才滚动，但是我们的需求往往是到了0点就滚动文件了，因为离线的job因为都会放在夜里执行。
如果flume是早上9点启动的，那么要到明天早上9点，hdfs的文件才会关闭，难道job要等到9点后才执行，这显然不合适，所以通过修改源码使其能够在0点滚动文件。
首先...
分类：
Web程序 时间：
2015-04-29 15:12:56
阅读次数：
660
错误内容①：[1429500851]ndomod:Couldnotopendatasink!I‘llkeeptrying,butsomeoutputmaygetlost...[1429500851]ndomodregisteredforcontactdata‘[1429500851]ndomodregisteredforcontactnotificationdata‘[1429500851]Eventbrokermodule‘/usr/local/nagios/bin/ndomod.o‘initi..
分类：
其他好文 时间：
2015-04-20 19:18:49
阅读次数：
131
