记录INFO级别的日志，通常用于调试。 属性说明： !channel – !type – The component type name, needs to be logger maxBytesToLog 16 Maximum number of bytes of the Event body to ...
分类：
其他好文 时间：
2016-08-13 01:04:56
阅读次数：
213
一、netcat source + memory channel + logger sink 1. 修改配置 1）修改$FLUME_HOME/conf下的flume-env.sh文件，修改内容如下 2）在$FLUME_HOME/conf目录下，创建agent子目录，新建netcat-memory-l ...
分类：
Web程序 时间：
2016-08-07 15:22:47
阅读次数：
231
问题导读：
1.node向master发送心跳之后等待反馈的最大时长由哪个参数来决定，默认多长时间？
2.当primary sink(可以认为是第一collector)故障后，重启primary sink的一个延迟时间，在此期间，agent将把数据发送到secondary sink(可能是第二collector)由哪个参数来决定？
3.collector的默认发送目录通过哪个参数可以配置？
...
分类：
Web程序 时间：
2016-07-21 13:06:13
阅读次数：
538
Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 可以看一下模型： 每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员：source、channel、sink 如上图所示，由source获取数据并发送给channel，channel就好比一 ...
分类：
数据库 时间：
2016-07-18 03:05:15
阅读次数：
300
由于经常会使用到Flume的一些channel,source,sink，于是为了方便将这些channel,source,sink汇总出来，也共大家访问。 Component Interface Type Alias Implementation Class *.Channel memory *.ch ...
分类：
Web程序 时间：
2016-07-05 20:32:06
阅读次数：
224
sink groups使多个不同的sink组成一个整体，而sink processor提供了组内负载均衡和故障转移的功能。 有三种sink processor :default sink processor,failover sink processor,Load balancing Sink Pr ...
分类：
Web程序 时间：
2016-07-05 17:12:41
阅读次数：
285
out_con<-file("out.txt","w")
write(sprintf("Thisisline%d.\n",1),out_con,append=T)
write("Thisisline2.",out_con,append=T)
close(out_con)或者printer=file("out.txt","w")
writeLines("Thisisline.",con=printer,sep="")
writeLines("Thesameline.",con=printer)
clo..
分类：
编程语言 时间：
2016-06-20 18:57:10
阅读次数：
574
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
之前我们聊了Flink程序的source、sink就差transformation了。今天我们就来解读一下Flink的transformation。它们三者的关系如下图：当然这还是从Flink编程API的角度来看的（编程视角）。所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。...
分类：
Web程序 时间：
2016-05-15 12:40:02
阅读次数：
274
上一篇我们谈论了Flink stream source，它作为流的数据入口是整个DAG（有向无环图）拓扑的起点。那么与此对应的，流的数据出口就是跟source对应的Sink。这是我们本篇解读的内容。...
分类：
Web程序 时间：
2016-05-13 02:56:37
阅读次数：
3019
