码迷,mamicode.com
首页 > Web开发 > 详细

Flume在企业大数据仓库架构中位置及功能

时间:2016-04-01 06:33:43      阅读:452      评论:0      收藏:0      [点我收藏+]

标签:

Flume在企业大数据仓库架构中位置及功能

数据仓库架构

1、如下图所示,外部数据中,关系型数据库导入到HDFS用sqoop,由Nginx产生的文件实时监控用Flume获得。
在HDFS或Hbase中,如果要进行实时查询用Impala(内存),如果是分析可以用Hive,Mapreduce分析。用Oozie来调用工作流执行任务。
技术分享

2、左边是数据的来源:系统日志文件,应用文件(应用系统收集APP产生的日志),点击流(点击产生的日志),销售点(订单信息)。通过Flume收集然后给HDFS存储。
技术分享

3、Flume在企业中的做法

技术分享

技术分享

Flume在企业大数据仓库架构中位置及功能

标签:

原文地址:http://www.cnblogs.com/raymoc/p/5343568.html

(1)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!