码迷,mamicode.com
首页 > Web开发 > 详细

数据集成:Flume和Sqoop

时间:2016-12-13 00:31:08      阅读:344      评论:0      收藏:0      [点我收藏+]

标签:hadoop   flume   sqoop   大数据时代   数据集成   

Flume和Sqoop是Hadoop数据集成和收集系统,两者的定位不一样,下面根据个人的经验与理解和大家做一个介绍:

Flumecloudera开发出来,有两大产品:Flume-ogFlume-ngFlume-og的架构过于复杂,在寻问当中会有数据丢失,所以放弃了。现在我们使用的是Flume-ng,主要是日志采集,这个日志可以是TCP的系统的日志数据,可以是文件数据(就是通常我们在Intel服务器,通过其中的机构传过来的接口,或者通过防火墙采集过来的日志),在HDFS上去存储,可以和kafka进行集成,这就是Flume的功能。     

Flume架构是分布式,可以根据需要进行扩展Flume的节点和数量。它的扩展有两个含义:一个是横向的,根据原数据源的个数、种类不同进行扩展;第二个就是纵向的,可以增加更多的汇聚层,去做更多的过程的数据处理,而不是数据加载进来之后再进行转换。

技术分享

Flume的性能高可靠并且高可用的,可靠性主要体现在两个方面:一方面就是有一份数据比较重要,为了保证数据传输的可靠性,可以两个agent指向这份数据,而且两个agent可以进行示范切换,如果其中一个失败,另一个还可以进行传输。另一方面就是在agent的内部可以做缓存通透区,接收到数据可以存到磁盘,放到数据库,纵使agent出问题,数据依然存在。

Flume是做日志采集的,但是更多的数据是从结构化数据库过来的,这时我们就需要SqoopSqoop是关系型数据库和HDFS之间的一个桥梁,可以实现数据在关系型数据库与HDFS之间的一个传送。那么我们什么时候将数据传递到HDFS呢?主要是把新增交易,新增账户加载过来,写的时候除了hdfs,还可以写hive,甚至可以直接去建表。而且可以在源数据库设立是导整个数据库,还是导某一个表,或者导特定的列,这都是常见的在数据仓库中进行的ETL.

技术分享

sqoop允许增量导入,增量有两种,一种是直接追加(比如新增订单、交易可以追加);另一种是状态的改变,比如一个客户之前是白名单客户,还款很好,但是如果某个月逾期,加入黑名单,后期还款了又回到白名单,状态在不停改变,那么就不能再和交易等一样做追加,这个时候需要做的就是拉链。需要一个修改的日期,那么这个状态有没有修改,如果修改了,那么之前加载的怎么办?可以通过sqoop进行配置,加载的时候让它们在Hadoop里面进行更新。我们知道HDFS文件不能更新,这个时候进行文件合并,通过合并的方式把文本的数据清除。

数据什么时候导出呢?导出数据就在于Hadoop里面分析好的数据,我们可能需要下载一个数据集市,基于这个集市把数据导出来,所以sqoop也可以把数据导出。sqoop导出的机制是:默认的是mysqlmysql 效率较低,那么选择第二种方式---直接模式,利用数据库本身提供的一些导出工具。但是这些导出工具的效率还不够高,更高的就是专业的定制的连接器,目前定制的连接器有MySQLPostgresNetezzaTeradataOracle

    以上就是根据自己的一些学习和工作经验总结的关于FlumeSqoop的相关知识,有些具体的知识这里没有多涉及,如果想了解的可以自己去学习。我自己平常也会去关注“大数据cn”和“大数据时代学习中心”这些微信公众号,里面分享的一些资讯和知识点对我有很大的帮助,推荐大家去看看,期望共同进步!


本文出自 “11872756” 博客,请务必保留此出处http://11882756.blog.51cto.com/11872756/1881938

数据集成:Flume和Sqoop

标签:hadoop   flume   sqoop   大数据时代   数据集成   

原文地址:http://11882756.blog.51cto.com/11872756/1881938

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!