各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行机制，其次，也有利于你修改源码。首先，本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹，下面会有个flume-ng文件，这便...
分类：
Web程序 时间：
2015-07-11 00:54:09
阅读次数：
819
log4j直接输出日志到flume ????????此jar是由Cloudera的CDH发行版提供的一个工具类，通过配置，可以将log4j的日志直接输出到flume，方便日志的采集。 ????????在CDH5.3.0版本中是：flume-ng-log4...
分类：
Web程序 时间：
2015-07-06 16:17:06
阅读次数：
609
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linu...
分类：
Web程序 时间：
2015-05-25 18:38:14
阅读次数：
650
本文介绍初次使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。1 环境搭建 需要jdk、flume-ng、mongodbjavadriver、flume-ng-mongodb-sink（1）jdk下载地址：http://www.oracle.com/technetwor...
分类：
Web程序 时间：
2015-05-13 00:25:34
阅读次数：
185
在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
常用的分布式日志收集系统：Apache Flume、Facebook Scribe、Apache Chukwa1、Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）...
分类：
Web程序 时间：
2015-05-07 16:30:07
阅读次数：
248
org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据...
分类：
编程语言 时间：
2015-05-05 12:21:04
阅读次数：
468
