码迷,mamicode.com
首页 > Web开发 > 详细

flume data to hdfs

时间:2018-12-05 00:20:32      阅读:192      评论:0      收藏:0      [点我收藏+]

标签:source   man   数据类型   div   nsa   cap   lan   sha   shell   

flume 开发梳理

flume 数据到hadoop

conf/hdfsAgent.conf

 #配置sources、channels、sinks

a1.sources=r1
a1.channels=c1
a1.sinks=k1

#sources.r1 配置源数据类型
a1.sources.r1.type=exec
a1.sources.r1.shell=bin/bash -c
a1.sources.r1.command=ping 192.168.1.125

#channels c1 配置传输通道
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#sinks k1 配置接收数据

a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://192.168.1.125:9000/flume/webData

#关联sources、channels、sinks
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

tips:

 flume 配置输入到hadoop,需要把 hadoop-2.7.1/share/ hadoop/ 下的common/* common/lib/* hdfs/* hdfs/lib/* mapreduce/* mapreduce/lib/* 拷贝到flume-1.6.0/lib/* 目录下。

开启命令:

bin/flume-ng agent -c conf -f conf/hdfsAgent.conf -n a1

flume data to hdfs

标签:source   man   数据类型   div   nsa   cap   lan   sha   shell   

原文地址:https://www.cnblogs.com/fandong90/p/10067879.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!