从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类：
Web程序 时间：
2015-03-09 16:16:56
阅读次数：
5816
org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作（在Source中用到），可以把它想象成channel的proxy，用于控制把Eventput到哪些Channel中，以及怎么put(bacth或者单个)，同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中..
分类：
其他好文 时间：
2015-03-09 01:48:39
阅读次数：
176
在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：privatevoiddoStart(){
booleanerror=true;
try{
channel.start();//调用Channel.start启动Channel
sinkRunner.start();//调用SinkRunner.star..
分类：
其他好文 时间：
2015-03-08 17:24:39
阅读次数：
521
防火墙的配置任务七防火墙的日志管理1．将防火墙时间设置为北京时间，时区名称为Beijing。2．将时间调快1小时。图7.23．指定NTP服务器地址为192.168.2.100，服务器连接在内部接口。图7.34．启用日志信息，级别为6，发送到缓存。图7.45．建立一个日志策略，将所有错误消息和警告..
分类：
其他好文 时间：
2015-03-08 01:37:31
阅读次数：
154
上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
管理Web网站不只是监视Web的速度和Web的内容传送。它不仅要关注服务器每天的吞吐量，还要了解这些Web网站的外来访问，了解网站各页面的访问情况。根据各页面的点击频率来改善网页的内容和质量，提高内容的可读性，以及跟踪包含有商业交易的步骤及管理Web网站“幕后”的数据等。
为了更好地提供WWW服务，监控Web服务器的运行情况、了解网站内容的详细访问状况就显得越来越重要和迫切了。而这些要求都...
分类：
Web程序 时间：
2015-03-06 12:50:57
阅读次数：
198
HYAppFrame是一款开源的基于.NET的C/S架构应用程序框架，服务器端采用ASP.NET Web Service，客户端采用Win Form。
HYAppFrame致力于应用程序框架的研究，为开发者提供一套可用于实际项目的框架工具，开发者不再需要过多关注系统布局、数据库操作、权限设计、组织架构、日志管理、文件管理、工作流等，可将主要精力放在业务表单的设计与开发上。...
分类：
移动开发 时间：
2015-03-06 09:45:24
阅读次数：
181
HDFSEventSink用于把数据从channel中拿出来（主动pull的形式）然后放到hdfs中，HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool，callTimeoutPool用于运行append/flush等操作hdfs的task（通过callWithTimeout方法调用，并实现timeout功能），用于运行..
分类：
Web程序 时间：
2015-03-06 06:24:34
阅读次数：
254
flume的主要组件包括：Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等工作流程包含两个部分：source->channel，数据由source写入channel，主动模式，主要步骤如下：一个SourceRunner包含一个So..
分类：
Web程序 时间：
2015-03-06 06:24:30
阅读次数：
217
