课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识,对数据库和sql语句有一定了解,熟练使用linux系统的技术人员,特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础,学习过北风课程《Gree...
分类:
其他好文 时间:
2014-07-12 20:58:37
阅读次数:
220
Hive学习路线图Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, C...
分类:
其他好文 时间:
2014-07-11 08:48:52
阅读次数:
291
项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为的matrix矩阵,key为待聚类文本的数字编号,value为待聚类文本的单词向量Vector, Vector...
分类:
其他好文 时间:
2014-07-07 10:43:16
阅读次数:
1186
sqoop是一个把关系型数据库数据抽向hadoop的工具。同时,也支持将hive、pig等查询的结果导入关系型数据库中存储。由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001、下载sqoop wget http://mirro...
分类:
其他好文 时间:
2014-07-06 15:37:41
阅读次数:
138
之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer,在本地使用SQLLite作..
分类:
其他好文 时间:
2014-07-04 06:16:59
阅读次数:
469
【甘道夫】Hadoop2.2.0环境使用sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键...
分类:
数据库 时间:
2014-07-02 15:23:24
阅读次数:
276
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类:
数据库 时间:
2014-06-30 08:21:16
阅读次数:
356
Sqoop1.99.3基础操作--导入Oracle的数据到HDFS...
分类:
数据库 时间:
2014-06-28 08:51:31
阅读次数:
229
Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录...
分类:
其他好文 时间:
2014-06-28 08:21:09
阅读次数:
186
Sqoop官网:http://sqoop.apache.org/*) Sqoop介绍Sqoop用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。参考链接:http://blog.csdn.net/yfkis...
分类:
其他好文 时间:
2014-06-26 17:49:46
阅读次数:
212