现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。 这里的Flume版本是1.6.0，Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把 ...
分类：
Web程序 时间：
2016-09-19 17:56:14
阅读次数：
243
Flume简介
Flume安装1. 解压 flume安装包到 /itcast/ 目录下
tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件：2.1 flume-env.sh修改文件名称：
mv flume-env.sh.template flume-env.sh添加java_home，保证flume所使用的jdk和hdfs是一样的（可以...
分类：
Web程序 时间：
2016-07-22 19:14:48
阅读次数：
216
注： 环境： sklin-linux Flume的下载方式： 下载完成之后，使用tar进行解压 进入flume的conf配置包中，使用命令touch flume.conf，然后cp flume-conf.properties.template flume.conf 使vim/gedit flume. ...
分类：
Web程序 时间：
2016-07-11 19:12:53
阅读次数：
187
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
flume 1.6安装1.解压 2.复制 cp conf/flume-conf.properties.template conf/flume.conf cp conf/flume-env.sh.template conf/flume-env.sh 3. 修改 JAVA_HOME flume-env. ...
分类：
Web程序 时间：
2016-05-07 16:18:08
阅读次数：
229
ApacheFlume是一个分布式的、可靠的、高效的系统，可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的，flume可以使用传输大量的自定义event数据，包括但不限于网站流量信息、社会媒体信息、email信息以及...
分类：
Web程序 时间：
2015-08-28 19:28:39
阅读次数：
229
