1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
import urllib2 as urlimport reurls = 'http://www.php100.com/html/it/'headers = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2...
分类：
编程语言 时间：
2015-06-17 00:26:10
阅读次数：
187
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
[Author]: kwu --- CentOS6.6安装CM5.4的问题，在安装cloudera-scm-agent时出现异常，提示缺少类库。...
分类：
其他好文 时间：
2015-06-16 11:05:43
阅读次数：
137
公司使用到阿里云.需要使用ssh-agent forward 来跳转.为了方便自己就写了这个脚本1 #!/bin/sh2 # auto start ssh-agent and add key关于SSH-agent的使用,大家可以百度.一搜一堆..简单的介绍下: P-B-C你从P连接到C必须经过B,这...
分类：
其他好文 时间：
2015-06-15 20:08:14
阅读次数：
218
向CDH5集群中添加新的主机节点步骤一：首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python.步骤二：上传cloudera-manager文件到/opt目录，修改agent配置文件： ....
分类：
其他好文 时间：
2015-06-15 16:12:16
阅读次数：
6775
$inwechat = false;$user_agent = $_SERVER['HTTP_USER_AGENT'];if (strpos($user_agent, 'MicroMessenger') === false) { // 非微信浏览器禁止浏览 $inwechat = false;}.....
分类：
Web程序 时间：
2015-06-15 13:04:29
阅读次数：
104
可以看到SA中有两种方式来获取HotSpotVM里面的变量地址，一种是通过符号表，另一种是通过VMStructEntry这种VM提供的元信息（也就是通过&运算获取的地址）。...
分类：
其他好文 时间：
2015-06-15 09:15:04
阅读次数：
122
