Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
Flume简介
Flume安装1. 解压 flume安装包到 /itcast/ 目录下
tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件：2.1 flume-env.sh修改文件名称：
mv flume-env.sh.template flume-env.sh添加java_home，保证flume所使用的jdk和hdfs是一样的（可以...
分类：
Web程序 时间：
2016-07-22 19:14:48
阅读次数：
216
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44...
分类：
Web程序 时间：
2016-01-23 00:50:33
阅读次数：
1147
