org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink
extends AbstractSinkim.....
分类：
其他好文 时间：
2014-06-29 14:29:54
阅读次数：
392
之前做的一个项目有这么个要求，在日志管理系统里，需要将某些日志信息存储到数据库里，供用户、管理员查看分析。因此我就花了点时间搞了一下这一功能，各位请看。摘要：我们知道log4j能提供强大的可配置的记日志功能，有写文件的、打印到控制台的等等，但有时我们需要它把日志输出到后台数据库中，log4j的强大的...
分类：
数据库 时间：
2014-06-05 16:34:17
阅读次数：
476
问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2...
分类：
其他好文 时间：
2014-06-02 15:38:43
阅读次数：
477
摘要: 本文讨论了利用数据库中的触发器对日志管理进行设计与实现的方法,
是对原来在客户端软件中编写日志管理方法的一种改进, 并给出了 Oracle9i 中的实例演示。关键词: Oracle; 触发器; 日志管理中图分类号:
TP311文献标识码: A文章编号: 1009- 3044(2008)16-...
分类：
数据库 时间：
2014-05-28 21:23:02
阅读次数：
476
SinkRunner.java 开启线程调用相应的Processor(Policy) , 根据
Policy调用process的返回值来决定线程睡眠时间，每次默认延后1s，最大默认为5s。public class SinkRunner implements
LifecycleAware { pri....
分类：
其他好文 时间：
2014-05-28 02:14:36
阅读次数：
524
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map
sourceRunnerMap之中。相关代码如下： 1 Map selectorConfig = context.getSu...
分类：
其他好文 时间：
2014-05-27 15:57:09
阅读次数：
347
写在前面一：
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二：
所用软件说明：
一、什么是Apache Flume
官网：Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类：
其他好文 时间：
2014-05-26 04:32:10
阅读次数：
359
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map
sinkRunnerMap之中。 SinkRunner可能对应一个sink也可能对应一个sinkgroup。因为如果配置...
分类：
其他好文 时间：
2014-05-25 22:05:04
阅读次数：
398
Python
logging模块,logging模块是在2.3新引进的功能,用来处理程序运行中的日志管理。分享下该模块的一些常用的类和模块级函数。模块级函数logging.getLogger([name]):返回一个logger对象，如果没有指定名字将返回root
loggerlogging.deb...
分类：
编程语言 时间：
2014-05-25 19:15:46
阅读次数：
353
上一篇，我介绍了VMware交付的软件定义的存储产品，VirtualSAN和vCenterSiteRecoveryManager，本文就详细描述VMware交付的数据中心管理和自动化产品组。数据中心管理和自动化在前面几期我详细描述了VMware交付的软件定义的计算、网络和存储，细心的读者可以发现，如果数据中心..
分类：
其他好文 时间：
2014-05-25 08:31:55
阅读次数：
517
