Sqoop-1.4.4工具import和export使用详解 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 这里，我们介绍Sqoo ...
分类：
其他好文 时间：
2016-08-11 19:24:25
阅读次数：
156
简单写一下如何将订单表sqoop到hbase表中的步骤。 下表： 1、通过hbase shell 打开hbase。 2、创建一个hbase表 3、将so表的数据导入到hbase中。 opt文件： 执行：sqoop --options-file ./so_hbase.opt ...
分类：
其他好文 时间：
2016-08-11 19:16:11
阅读次数：
116
一、引入 MapReduce Job Hive 脚本任务 同一个业务：先后、定时调度 工作流： 定义工作流程 activity jbpm oozie： 大数据工作流定义与调度框架 专门定义与调度MapReduce Job工作流程 拓展：shell、hive、sqoop、hdfs oozie演变过程： ...
分类：
其他好文 时间：
2016-08-07 12:20:31
阅读次数：
122
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2016-07-30 19:53:50
阅读次数：
303
Hadoophivehqlroadmap学习路线图 1 Comment Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chu ...
分类：
其他好文 时间：
2016-07-30 19:51:22
阅读次数：
223
北风网课程，超1000+课时，绝对是您零基础学习大数据的最佳选择。 本套课程分为两大部分：一.必修课，二.选修课。 必修课包括： 1.Linux基础知识，MapReduce,YARN,HDFS,Hive,Sqoop,Flume,Oozie,Hue,HBase等Hadoop框架。 2.Storm入门到 ...
分类：
其他好文 时间：
2016-07-16 00:14:59
阅读次数：
420
实验开发环境所用软件：[root@hadoop11 local]# ll
total 320576
-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume
drwxr-xr-x. 11 root...
分类：
Web程序 时间：
2016-07-15 20:54:54
阅读次数：
262
一、使用Sqoop抽取数据
1. Sqoop简介
Sqoop是一个在Hadoop与结构化数据存储（如关系数据库）之间高效传输大批量数据的工具。它在2012年3月被成功孵化，现在已是Apache的顶级项目。Sqoop有Sqoop1和Sqoop2两代，Sqoop1最后的稳定版本是1.4.6，Sqoop2最后版本是1.99.6。需要注意的是，1.99.6与1.4.6并不兼容，而且截止...
分类：
其他好文 时间：
2016-07-03 19:46:17
阅读次数：
305
HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
HIVE数据倾斜问题问题状态： 未解决 背景：HDFS对文件进行了压缩，而且不添加索引。主要用HIVE进行开发。 发现的现象：sqoop从Mysql导入数据，根据ID进行平均分割,但是ID分部及其不均匀(我也不知道业务系统怎么搞得)。所以导致reduce出来的文件大小严重不均匀，就是所谓的数据倾斜。 ...
分类：
其他好文 时间：
2016-06-30 20:06:25
阅读次数：
210
