以上是该命令的选项
[root@com22 bin]# sh hdfs fsck /flume/events/2015/03/02/13 -racks
Connecting to namenode via http://com22.authentication:50070
FSCK started by root (auth:SIMPLE) from /192.168.11.177 fo...
分类：
其他好文 时间：
2015-03-05 17:10:00
阅读次数：
120
flume 1.5.2
hbase 0.98.9
hadoop 2.6
zk 3.4.6
以上是基础的软件及对应版本，请先确认以上软件安装成功！
1、添加jar包支持
将hbase的lib下的这些jar包拷贝到flume的lib下
2、配置flume
注意看以上的serializer配置，采用的是官方的RegexHbaseEventSerializer，
...
分类：
Web程序 时间：
2015-03-04 11:05:56
阅读次数：
258
flume作为日志收集端，其本质上也是一个生产者消费者结构，source作为消息的producer，sink作为消息的consumer，中间的channel作消息的存储为了保证消息消费的正确性，flume使用了事务的机制，主要涉及的类：1）org.apache.flume.Transaction接口类，为访问channel提供事务的功..
分类：
Web程序 时间：
2015-03-04 06:22:18
阅读次数：
282
对于flume的监控，只需要监控channel的性能数据即可，source和sink的性能一部分可以从channel中表现出来。以MemoryChannel为例，在MemoryTransaction的构造函数中会实例化一个org.apache.flume.instrumentation.ChannelCounter对象publicMemoryTransaction(inttransCapacity,Ch..
分类：
Web程序 时间：
2015-03-04 06:22:07
阅读次数：
250
org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.s..
分类：
Web程序 时间：
2015-03-04 06:18:28
阅读次数：
206
最后提及两个agent。首先第一个是使用一个avro souce和一个avro sink向另一个agent传递event，然后再写入特定目录。 先看看配置代码。 agent6.sources = avrosource //定义avrosource，可以使用avro client在网络上向其传...
分类：
Web程序 时间：
2015-03-02 12:33:12
阅读次数：
191
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 大伙知道，常用的channel主要有三个： 1、memory channel：用内存做channel，优点是速度最快，...
分类：
Web程序 时间：
2015-03-01 19:38:20
阅读次数：
238
今天继续讨论几个agent的配置。 第一个agent是从终端捕获特定命令执行的输出结果，并将文件输出到特定目录。先看一下配置的代码： agent2.sources = execsource //指定为从命令获取输出的sourceagent2.sinks = filesink ...
分类：
Web程序 时间：
2015-03-01 13:07:42
阅读次数：
148
首先介绍一下Flume是个神马东东。Flume可以实现从多种数据源获取数据，然后传递到不同的目标路径。通常是利用Flume传送logs到不同的地方，例如从web server收集logs文件然后传送到hadoop cluster进行分析之类的。Flume配置灵活简单，可以实现不同情况的日志传送...
分类：
Web程序 时间：
2015-02-28 13:01:20
阅读次数：
165
flume-ng 1.5 新增一个Spillable memory channel ：http://www.tuicool.com/articles/i2mUfqb虽然可以在sink阻塞时候，把event存入file channel，且file channel在flume崩溃再启动时能恢复数据，但是...
分类：
Web程序 时间：
2015-02-26 14:37:25
阅读次数：
261
