说明:该结果是亲自测试,只提供简单的数据分析,很简陋,结果可能不准确。先说一下结果,多sink可以直接按常规配置,这样的话每个sink会启动一个sinkrunner,相当于每个线程一个sink,互不干扰,负载均衡是通过channel实现的,效率会提高为n倍,如果在此基础上加入sinkgroup,..
分类:
Web程序 时间:
2015-10-15 18:51:18
阅读次数:
260
flume架构图单节点flume配置flume-1.4.0启动flumebin/flume-ngagent--conf./conf-fconf/flume-conf.properties-Dflume.root.logger=DEBUG,console-nagent-n表示配置文件中agent的名字agent.sources=r1
agent.sinks=s1
agent.channels=c1
agent.sources.r1.channels=c1
agent.si..
分类:
Web程序 时间:
2015-10-04 06:47:55
阅读次数:
525
转自:http://blog.chinaunix.net/uid-25909619-id-3380544.htmlS3C2410Linux2.6.35.7启动分析(第二阶段)接着上面的分析,第一阶段的代码跳转后,会进入第二阶段的代码。第二阶段的代码是从\arch\arm\kernel\head.S开...
分类:
系统相关 时间:
2015-09-29 18:39:55
阅读次数:
298
sink写入到rabbitmq的实例 package?org.apache.flume;
import?org.apache.flume.conf.Configurable;
import?org.apache.flume.sink.AbstractSink;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory...
分类:
Web程序 时间:
2015-09-25 11:30:11
阅读次数:
340
1.安装jdk。 2.下载解压flume,修改bin/netcat-memory-logger.conf,内容如下: agent1.sources?=?sources1
agent1.channels?=?channels1?
agent1.sinks?=?sinks1
agent1.sources.sources1.type?=?netca...
分类:
Web程序 时间:
2015-09-24 17:54:37
阅读次数:
416
公司处理器换核,前期用FPGA仿真板进行了芯片验证和软件移植,借这个机会也学习了powerpc处理器的一些知识,对powerpc的内核启动也有所了解。
完成了arm版本内核start_kernel之前汇编分析,也想尝试写几篇文章对powerpc的启动进行分析,与大家分享。其实不管哪个平台处理器,内核启动之初,因为运行地址无法保证与链接地址一致,都要完成一次地址的配置和跳转来保证内核运行地址与链接地址的一致性。...
分类:
系统相关 时间:
2015-09-16 20:07:42
阅读次数:
227
Flume的安装与配置一、 资源下载资源地址:http://flume.apache.org/download.html程序地址:http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz源码地址:http://mirrors....
分类:
Web程序 时间:
2015-09-10 17:19:06
阅读次数:
244
Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统,数据库和现场仪表盘。...
分类:
其他好文 时间:
2015-09-10 11:10:49
阅读次数:
212
Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统,数据库和现场仪表盘。...
分类:
其他好文 时间:
2015-09-10 11:10:31
阅读次数:
169