码迷,mamicode.com
首页 >  
搜索关键字:flume    ( 1090个结果
Apache Flume 1.6.0 发布,日志服务器
Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新日志和文档: http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务,用于收 ...
分类:Web程序   时间:2016-09-14 07:10:05    阅读次数:188
flume的使用
1.flume的安装和配置 1.1 配置java_home,修改/opt/cdh/flume-1.5.0-cdh5.3.6/conf/flume-env.sh文件 1.2 配置hdfs集成 1.2.1添加hdfs的jar包到/opt/cdh/flume-1.5.0-cdh5.3.6/lib目录下 c ...
分类:Web程序   时间:2016-09-11 00:02:52    阅读次数:341
安装Flume的时候出现File Channel transaction capacity cannot be greater than the capacity of the channel capacity -解决方案 摘自网络
部署flume集群时,在启动collector服务器没报错,启动agent服务器报错:File Channel transaction capacity cannot be greater than the capacity of the channel capacity查了下相关解决办法,将配置文 ...
分类:Web程序   时间:2016-09-09 16:36:17    阅读次数:264
关于Flume中Chanel.Selector.header解释
flume内置的ChannelSelector有两种,分别是Replicating和Multiplexing。 Replicating类型的ChannelSelector会针对每一个Event,拷贝到所有的Channel中,这是默认的ChannelSelector。 replicating类型的Ch ...
分类:Web程序   时间:2016-09-02 06:31:24    阅读次数:199
Flume 与Kafka区别
今天开会讨论日志处理为什么要同时使用Flume和Kafka,是否可以只用Kafka 不使用Flume?当时想到的就只用Flume的接口多,不管是输入接口(socket 和 文件)以及输出接口(Kafka/HDFS/HBase等)。 考虑单一应用场景,从简化系统的角度考虑,在满足应用需求的情况下可能只 ...
分类:Web程序   时间:2016-09-01 21:18:04    阅读次数:971
消息系统Flume与Kafka的区别
首先Flume和Kafka都是消息系统,但是它俩也有着很多不同的地方,Flume更趋向于消息采集系统,而Kafka更趋向于消息缓存系统。 【一】设计上的不同 Flume是消息采集系统,它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source,以供用户根据不同的 ...
分类:Web程序   时间:2016-08-31 22:17:36    阅读次数:504
Flume连接Kafka的broker出错
在启动Flume的时候,出现下面的异常,但是程序照样能运行,Kafka也能够收到数据,只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin ...
分类:Web程序   时间:2016-08-30 20:59:02    阅读次数:876
Flume简介与使用(三)——Kafka Sink消费数据之Kafka安装
前面已经介绍了如何利用Thrift Source生产数据,今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候,会根据配置文件主动把数据event发送到Kafka的broker上,所以只要 ...
分类:Web程序   时间:2016-08-30 01:45:16    阅读次数:258
Flume OutOfMemoryError错误
Flume OutOfMemoryError错误 运行Flume没多久就报下面的异常: 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) [ERROR - org.apache.flume.channel.ChannelProcessor.pro ...
分类:Web程序   时间:2016-08-27 20:45:31    阅读次数:401
Flume简介与使用(二)——Thrift Source采集数据
Flume简介与使用(二)——Thrift Source采集数据 继上一篇安装Flume后,本篇将介绍如何使用Thrift Source采集数据。 Thrift是Google开发的用于跨语言RPC通信,它拥有功能强大的软件堆栈和代码生成引擎,允许定义一个简单的IDL文件来生成不同语言的代码,服务器端 ...
分类:Web程序   时间:2016-08-27 19:14:01    阅读次数:377
1090条   上一页 1 ... 62 63 64 65 66 ... 109 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!