flume-ng 中 selector的使用
在最近的项目中，需要用到flume。使用的是非常常见的结构：netcat source开启监听端口，接收发送来的报文消息，通过memory channel与sink（重写的roll file sink）写到本地磁盘。特别的是，这里需要根据报文的类型来发往不同的sink(暂且命名为sink1与sink2)。根据该需求，考虑有两种解决方案。...
分类：
其他好文 时间：
2014-08-21 17:08:14
阅读次数：
1607
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
这里我主要讲述我测试flume failover（容错）和load balance（负载均衡）的几个场景以及注意的点。...
分类：
其他好文 时间：
2014-08-14 16:48:08
阅读次数：
578
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
目录： 一、什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二、flume的官方网站在哪里？ 三、在哪里下载？ 四、如何安装？ 五、flume的案例 1)案例1：Avro 2)...
分类：
其他好文 时间：
2014-08-10 21:12:21
阅读次数：
495
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError 最近总是被这个错误爆，终于找到了解决方法。 maxOpenFile 默认 5000 ， 调到500后错误不在出现。 详见下面j...
分类：
其他好文 时间：
2014-07-30 01:09:53
阅读次数：
247
本日志由系统自动生成。
从7月14日起便按照心想事成的节奏进入了实验室。打酱油。周末又去学活值班，生活的框架还是很不错的。
1、基于Hadoop的Flume，zooKeeper，这些东西算是明白了个大概。
2、第一周大概学习了javascript、jquery、css、ci框架（php）这些基本的东...
分类：
其他好文 时间：
2014-07-30 00:41:42
阅读次数：
279
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个...
分类：
其他好文 时间：
2014-07-28 15:07:43
阅读次数：
170
